530. Разработка новых эконометрических методов управления предприятием / Орлов А.И., Иванова Н.Ю., Орлова Л.А., Анисимова М.Б., Вологжанина С.А., Гуськова Е.А., Жданова Г.А., Дорофеев А.А., Орлов А.А., Шомахов П.Ю., Гусаров И.А. - Отчет по госбюджетной НИР, No. государственной регистрации 01200300565 (рукопись). – М.: МГТУ им. Н.Э.Баумана, 2002. - 85 стр. 

МИНИСТЕРСТВО ОБРАЗОВАНИЯ РОССИЙСКОЙ ФЕДЕРАЦИИ         

                    МОСКОВСКИЙ		
   ГОСУДАРСТВЕННЫЙ ТЕХНИЧЕСКИЙ 
                             УНИВЕРСИТЕТ		
                 	     имени  Н.Э.БАУМАНА	
       (МГТУ им. Н.Э.Баумана)

УДК 330.115							УТВЕРЖДАЮ     
  					Первый проректор – 
№ госрегистрации                                  проректор по научной работе   

_____________д-р техн.наук, проф.К.Е.ДЕМИХОВ
 
Инв. №___________				“___”_______________________

О Т Ч Е Т
О НАУЧНО-ИСССЛЕДОВАТЕЛЬСКОЙ  РАБОТЕ

РАЗРАБОТКА НОВЫХ ЭКОНОМЕТРИЧЕСКИХ МЕТОДОВ УПРАВЛЕНИЯ ПРЕДПРИЯТИЕМ
(заключительный)

Шифр  НИЧ  1.12.02

Начальник ОНИЧ ИБМ, канд. экон. наук, доц. ____________ Г.А.Климентов

Руководитель темы, д-р техн. наук, проф.	       _____________  А.И.Орлов

Москва  2002 
 
 СПИСОК ИСПОЛНИТЕЛЕЙ

Докт. техн. наук, профессор				А.И.Орлов (разд.1-4)
Канд. экон. наук, ассистент				Н.Ю.Иванова (разд.2)
Ассистент							Л.А.Орлова (разд.4.1-4.2)
Старший лаборант					М.Б.Анисимова (глава 1)  
Аспирант							С.В.Вологжанина (разд.1)
Аспирант 							Е.А.Гуськова (разд.4.3-4.5)
Аспирант							Г.А.Жданова (разд.1)
Аспирант							А.А.Дорофеев (разд.3.1)
Аспирант							А.А.Орлов (разд.1)
Аспирант							П.Ю.Шомахов (разд.3.2)
Студент 							И.А.Гусаров (раздел 2)

Нормоконтролер							О.Н.Косичкин

 РЕФЕРАТ

Отчет 85 с., илл.0, табл.6, библ. источн. 67 (иностр.1)

ЭКОНОМЕТРИКА, СТАТИСТИКА НЕЧИСЛОВЫХ ДАННЫХ, УПРАВЛЕНИЕ, КОНТРОЛЛИНГ, ПРЕДПРИЯТИЕ, ПРОВЕРКА ОДНОРОДНОСТИ, НЕПАРАМЕТРИЧЕСКИЕ МЕТОДЫ, ИНФОРМАЦИОННЫЕ СИСТЕМЫ, СЕРТИФИКАЦИЯ
 
	В отчете рассмотрены методологические проблемы развития эконометрики, некоторые ее теоретические задачи и прикладные вопросы. 
	В первом разделе современные эконометрические методы рассматриваются как инструмент  инженера и менеджера. Проанализировано развитие эконометрических методов, выделены «точки роста» этой научной дисциплины. Рассмотрены основные идеи статистики объектов нечисловой природы – наиболее бурно растущей ветви эконометрики.
	Второй раздел посвящен эконометрической поддержке принятия решений в контроллинге – новом направлении в управлении предприятиями. Рассмотрены основные черты современной эконометрики, выделены эконометрические инструменты контроллинга. Введено понятие «высокие эконометрические технологии», обсуждены   их возможности для решения задач управления и контроллинг. Много внимания уделяется проблемам ускорения внедрения "высоких эконометрических (статистических) технологий". 
	В третьем разделе рассматривается одна из конкретных эконометрических проблем - проблема проверки однородности двух независимых выборок. Показаны принципиальные недостатки широко распространенного критерия Стьюдента. Вместо него для проверки равенства математических ожиданий предлагается использовать критерий Крамера-Уэлча. Рассматриваются непараметрические методы проверки однородности
	Четвертый раздел посвящен применениям эконометрики. Дана классификация эконометрических методов, используемых на промышленном предприятии. Рассмотрены эконометрические компьютерные технологии. Проанализировано развитие эконометрических методов сертификации в России. Информационные системы управления предприятием изучены в плане решения задач контроллинга и роли эконометрических методов в подобных системах.
	Полученные результаты используются в учебном процессе МГТУ им. Н.Э.Баумана при преподавании курсов «Эконометрика», «Прогнозирование и технико-экономическое планирование на предприятии», «Экономика предприятия» и др.  
 
СОДЕРЖАНИЕ
	с.
Введение	6
1 Современные эконометрические методы	7
1.1 Что дает прикладная статистика народному хозяйству?	7
1.2 О развитии эконометрических методов	9
1.3 «Точки роста» эконометрики и прикладной статистики	12
1.4 Основные идеи статистики объектов нечисловой природы	23
2 Эконометрическая поддержка контроллинга	27
2.1 Основные черты современной эконометрики	27
2.2 Эконометрические инструменты контроллинга	29
2.3 Высокие эконометрические технологии и их возможности для 
решения задач управления и контроллинга	35
2.4 Как ускорить внедрение "высоких эконометрических 
(статистических) технологий"?	41
3 Эконометрические методы проверки однородности	44
3.1 Задача проверки однородности 	44
3.2 Традиционный метод (критерий Стьюдента)	45
3.3 Критерий Крамера-Уэлча равенства математических ожиданий	51
3.4 Непараметрические методы проверки однородности	54
4 Эконометрика на промышленном предприятии	59
4.1 Классификация эконометрических методов, используемых
на промышленном предприятии	59
4.2 Эконометрические компьютерные технологии	62
4.3 О развитии эконометрических методов сертификации в России	63
4.4 Информационные системы управления предприятием
 в решении задач контроллинга	65
4.5 Эконометрические методы в информационных системах	75
Заключение	78
Список использованных источников	80

ВВЕДЕНИЕ

	Цели, содержание и основные требования к проведению НИР: На основе современных подходов к эконометрике разработать и исследовать новые методы анализа социально-экономических данных, прежде всего данных нечисловой природы. Получить новые фундаментальные результаты в проблеме проверки однородности эконометрических данных. Изучить возможности применения полученных результатов в задачах управления предприятием.
	Имеющийся научный задел: обзор существующих эконометрических концепций, многолетний опыт теоретической и прикладной деятельности в различных областях эконометрики.
	Основные результаты НИР. Проведение данной научно-исследовательской работы нацелено на получение следующие результаты:
	- концепция современного состояния и перспектив развития эконометрики, анализ "точек роста",  
 	- разработка методологических основ и основных принципов создания эконометрического обеспечения для систем контроллинга на предприятиях;
	- разработка системы моделей и адекватных им эконометрических методов проверки однородности конкретных экономических данных; 
	- разработка новых эконометрических методов в управлении качеством, и применении информационных систем управления предприятиями.
	Научная, научно-техническая и практическая ценность результатов НИР: разработаны методология современного эконометрического моделирования; новые эконометрические методы, нацеленные на применение при управлении предприятием; основы эконометрического обеспечения процессов принятия решений при управлении предприятием, в частности, в системах контроллинга. Результаты работы будут использованы в учебном процессе при преподавании курсов «Эконометрика», «Математические методы прогнозирования», «Прогнозирование и ТЭП в отрасли» и др.

1. СОВРЕМЕННЫЕ ЭКОНОМЕТРИЧЕСКИЕ МЕТОДЫ
 
В настоящем разделе дается критический анализ современного состояния эконометрики и прикладной статистики, обсуждаются тенденции развития статистических методов, выделяются пять основных «точек роста».  
	Современное состояние в эконометрике, как и в других областях, определяется прошлым. Кратко рассмотрим историю эконометрики и прикладной статистики, начав с их практической пользы. 

1.1. Что дает прикладная статистика народному хозяйству? 

Так называлась статья [1], в которой приводились многочисленные примеры успешного использования методов эконометрики и прикладной математической статистики при решении практических задач. Бесспорно совершенно, что методы эконометрики и прикладной статистики успешно применяются в различных отраслях народного хозяйства, практически во всех областях науки. Согласно докладу [2], в 1988 г. затраты в СССР на статистический анализ данных оценивались в 2 миллиарда рублей ежегодно. 
Большая практическая значимость эконометрики и прикладной статистики, особенно в экономике, менеджменте, технических исследованиях и разработках, оправдывает целесообразность развития их методологии, в которых эти области научной и прикладной деятельности рассматривалась бы как целое, "с высоты птичьего полета". Чтобы иметь возможность обсуждения тенденций развития эконометрики и статистических методов в XXI веке, необходимо хотя бы кратко рассмотреть их историю.
Типовые примеры раннего этапа применения статистических методов описаны в Ветхом Завете (в Книге Чисел). С математической точки зрения они сводились к подсчетам числа попаданий значений наблюдаемых признаков в определенные градации. В дальнейшем результаты стали представлять в виде таблиц и диаграмм, как это и сейчас делают Госкомстат РФ (Российское статистическое агентство). Надо признать, что по сравнению с Ветхим Заветом есть прогресс - в Библии не было таблиц. Однако нет продвижения по сравнению с работами российских статистиков конца девятнадцатого - начала двадцатого века (типовой монографией тех времен можно считать книгу [3], которая в настоящее время ещё легко доступна).
Сразу после возникновения теории вероятностей (Паскаль, Ферма, 17 век) вероятностные модели стали использоваться при обработке статистических данных. Например, изучалась частота рождения мальчиков и девочек, было установлено отличие вероятности рождения мальчика от 0.5, анализировались причины того, что в парижских приютах эта вероятность не та, что в самом Париже, и т.д. Имеется достаточно много публикаций по истории теории вероятностей, однако в некоторых из них имеются неточные утверждения, что заставило одного из крупнейших ученых ХХ в. академика Украинской АН Б.В. Гнеденко включить в очередное издание своего курса [4] главу по истории математики случайного. 
В 1794 г. (по другим данным - в 1795 г.) К. Гаусс разработал метод наименьших квадратов, один из наиболее популярных ныне статистических методов, и применил его при расчете орбиты астероида Церера - для борьбы с ошибками астрономических наблюдений. В Х1Х веке заметный вклад в развитие практической статистики внес бельгиец А. Кетле, на основе анализа большого числа реальных данных показавший устойчивость относительных статистических показателей, таких, как доля самоубийств среди всех смертей. Интересно, что основные идеи статистического приемочного контроля и сертификации продукции обсуждались академиком М.В. Остроградским и применялись в российской армии ещё в середине Х1Х в. Статистические методы управления качеством, сертификации и классификации продукции и сейчас весьма актуальны.

1.2. О развитии эконометрических методов

Современный этап развития прикладной статистики можно отсчитывать с 1900 г., когда англичанин К. Пирсон основан журнал "Biometrika". Первая треть ХХ в. прошла под знаком параметрической статистики. Изучались методы, основанные на анализе данных из параметрических семейств распределений, описываемых кривыми из т.н. семейства Пирсона. Наиболее популярным было нормальное (гауссово) распределение. Для проверки гипотез использовались критерии Пирсона, Стьюдента, Фишера. Были предложены метод максимального правдоподобия, дисперсионный анализ, сформулированы основные идеи планирования эксперимента. 
Разработанную в первой трети ХХ в. теорию называем параметрической статистикой, поскольку ее основной  объект изучения - это выборки из распределений, описываемых одним или небольшим числом параметров. Наиболее общим является семейство кривых Пирсона, задаваемых четырьмя параметрами. Как правило, нельзя указать каких-либо веских причин, по которым конкретное распределение результатов наблюдений должно входить в то или иное параметрическое семейство. Исключения хорошо известны: если вероятностная модель предусматривает суммирование независимых случайных величин, то сумму естественно описывать нормальным распределением; если же в модели рассматривается произведение таких величин, то итог, видимо, приближается логарифмически нормальным распределением, и т.д. Однако в подавляющем большинстве реальных ситуаций подобных моделей нет, и приближение реального распределения с помощью кривых из семейства Пирсона или его подсемейств - чисто формальная операция. 
Именно из таких соображений критиковал параметрическую статистику академик АН СССР С.Н. Бернштейн в 1927 г. в своем докладе на Всероссийском съезде математиков [5]. Однако эта теория, к сожалению, до сих пор остается основой преподавания статистических методов и продолжает использоваться основной массой прикладников, остающихся далекими от новых веяний в статистике. 
Почему так происходит? Чтобы попытаться ответить на этот вопрос, обратимся к одной из статистических наук - наукометрии, в которой статистическими методами анализируется развитие научных исследований. Проведенный несколько лет назад наукометрический анализ прикладной статистики как области научно-практической деятельности (в рамках движения за создание Всесоюзной статистической ассоциации, учрежденной в 1990 г.) показал, в частности, что актуальными для специалистов в настоящее время являются не менее чем 100 тысяч публикаций (подробнее см. статьи [6,7]). Реально же каждый из них знаком с существенно меньшим количеством книг и статей. Так, в наиболее солидное и обширное из научных изданий в области эконометрики и прикладной статистики - трехтомник Кендалла и Стьюарта [8-10] – включено всего около 2 тысяч литературных ссылок. При всей очевидности соображений о многократном дублировании ценных идей в различных публикациях приходится признать, что каждый специалист по эконометрике и прикладной статистике владеет лишь небольшой частью накопленных в этой области знаний. Не удивительно, что приходится постоянно сталкиваться с игнорированием или повторением ранее полученных результатов, с уходом в тупиковые (с точки зрения практики) направления исследований, с беспомощностью при обращении к реальным данным, и т.д. Все это - одно из проявлений адапционного механизма торможения развития науки, которая оказывается не в состоянии даже осмыслить ранее полученные результаты. Об этом печальном явлении еще более 30 лет назад писали В.В.Налимов и другие науковеды (см., например, [11]).
Традиционный предрассудок состоит в том, что каждый новый результат, полученный исследователем - это кирпич, вложенный в непрерывно растущее здание науки, который непременно будет проанализирован и использован научным сообществом. Реальная ситуация - совсем иная. Как известно, большинство книг в центральных библиотеках никто никогда не читал. Так что с новым результатом, скорее всего, познакомятся лишь несколько человек, да и то поверхностно, а использовать его будут, в лучшем случае, сам автор в дальнейших работах и его ученики.
 Основа профессиональных знаний экономиста, менеджера, исследователя и инженера закладывается в период обучения. Затем они пополняются в том узком направлении, в котором работает специалист. Следующий этап - их тиражирование новому поколению. В результате вузовские учебники отстоят от современного развития на десятки лет. Так, учебники по математической статистике, по экспертной оценке ряда специалистов, по своему научному и методологическому уровню в основном  соответствуют 40-60-м годам ХХ в. А потому тем же годам соответствует большинство вновь публикуемых исследований и тем более - прикладных работ. Одновременно приходится признать, что результаты, которым не повезло, поскольку они не вошли в учебники, независимо от их научной и (или) прикладной ценности почти все забываются и не участвуют в научном процессе.  
Активно продолжается развитие тупиковых направлений. В частности, к ним относятся работы по оцениванию параметров по выборкам из распределений, принадлежащих тем или иным параметрическим семействам (см., например, государственный стандарт [12]). Поскольку реальные данные не подчиняются каким-либо параметрическим семействам, надо применять иные статистические методы, о которых речь пойдет ниже. Понятно, что специалистам по параметрической статистике, потратившим многие годы на совершенствование в своей области, психологически трудно согласиться с этим.  
Отечественная литература по эконометрике и прикладной статистике столь же необозрима, как и мировая. Только в секции "Математические методы исследования" журнала "Заводская лаборатория" с 1960-х годов опубликовано более 1000 статей. Не будем даже пытаться перечислять коллективы исследователей или основные монографии в этой области. Отметим только одно издание. По нашему мнению, наилучшей отечественной книгой по прикладной статистике является сборник статистических таблиц Л.Н. Большева и Н.В.Смирнова [13] с подробными комментариями, играющими роль сжатого учебника и справочника. 

1.3. «Точки роста» эконометрики и прикладной статистики

Основная цель настоящего подраздела - выделить и обсудить "точки роста" эконометрики и прикладной статистики, те их направления, которые представляются перспективными в будущем. При описании современного этапа развития эконометрических и статистических методов целесообразно выделить пять актуальных направлений, в которых развивается современная прикладная статистика, т.е. пять "точек роста": 
непараметрика (т.е. непараметрическая статистика), 
робастность, 
бутстреп, 
статистика интервальных данных, 
статистика нечисловых данных (в несколько иной терминологии - статистика объектов нечисловой природы). 
 В первой трети ХХ в., одновременно с параметрической статистикой, в работах Спирмена и Кендалла появились первые непараметрические методы, основанные на коэффициентах ранговой корреляции, носящих ныне имена этих статистиков. Но непараметрика, не делающая нереалистических предположений о том, что функции распределения результатов наблюдений принадлежат тем или иным параметрическим семействам распределений, стала заметной частью статистики лишь со второй трети ХХ века. В 30-е годы появились работы А.Н.Колмогорова и Н.В.Смирнова, предложивших и изучивших статистические критерии, носящие в настоящее время их имена. Эти критерии основаны на использовании так называемого эмпирического процесса. (Как известно, эмпирический процесс – это разность между эмпирической и теоретической функциями распределения, умноженная на квадратный корень из объема выборки.) В работе А.Н.Колмогорова 1933 г. изучено предельное распределение супремума модуля эмпирического процесса, называемого сейчас критерием Колмогорова. Затем Н.В. Смирнов исследовал супремум и инфимум эмпирического процесса, а также интеграл (по теоретической функции распределения) квадрата эмпирического процесса. 
Следует отметить, что встречающееся иногда в литературе словосочетание "критерий Колмогорова-Смирнова" некорректно, поскольку эти два статистика никогда не печатались вместе и не изучали один и тот же критерий схожими методами. Корректно сочетание "критерий типа Колмогорова-Смирнова", применяемое для обозначения критериев, основанных на использовании супремума функций от эмпирического процесса. 
После второй мировой войны развитие непараметрической статистики пошло быстрыми темпами. Большую роль сыграли работы Ф. Вилкоксона и его школы. К настоящему времени с помощью непараметрических методов можно решать практически тот же круг статистических задач, что и с помощью параметрических. Однако для обеспечения широкого внедрения непараметрических методов необходимо провести еще целый комплекс теоретических и пилотных (т.е. пробных) прикладных работ. Все большую роль играют непараметрические оценки плотности, непараметрические методы регрессии и распознавания образов (дискриминантного анализа). В нашей стране непараметрические методы получили достаточно большую известность после выхода в 1965 г. первого издания  упомянутого выше сборника статистических таблиц Л.Н. Большева и Н.В.Смирнова [13], содержащего подробные таблицы для основных непараметрических критериев. 
Тем не менее параметрические методы всё еще популярнее непараметрических, особенно среди тех прикладников, кто слабо знаком со статистическими методами. Неоднократно публиковались экспериментальные данные, свидетельствующие о том, что распределения реально наблюдаемых случайных величин, в частности, ошибок измерения, в подавляющем большинстве случаев отличны от нормальных (гауссовских). Тем не менее теоретики продолжают строить и изучать статистические модели, основанные на гауссовости, а практики - применять подобные методы и модели. Другими словами, "ищут под фонарем, а не там, где потеряли".
Если в параметрических постановках на данных накладываются слишком жесткие требования - их функции распределения должны принадлежать определенному параметрическому семейству, то в непараметрических, наоборот, излишне слабые - требуется лишь, чтобы функции распределения были непрерывны. При этом игнорируется априорная информация о том, каков "примерный вид" распределения. Априори можно ожидать, что учет этого "примерного вида" улучшит показатели качества статистических процедур. Развитием этой идеи является теория устойчивости (робастности) статистических процедур, в которой предполагается, что распределение исходных данных мало отличается от некоторого параметрического семейства. За рубежом эту теорию разрабатывали П.Хубер, Ф.Хампель и многие другие. Из монографий на русском языке, трактующих о робастности и устойчивости статистических процедур, самой ранней и наиболее общей была книга [14], следующей - монография [15]. Частными случаями реализации идеи робастности (устойчивости) статистических процедур являются статистика объектов нечисловой природы и статистика интервальных данных. 
Имеется большое разнообразие моделей робастности в зависимости от того, какие именно отклонения от заданного параметрического семейства допускаются. Среди теоретиков наиболее популярной оказалась модель выбросов, в которой исходная выборка "засоряется" малым числом "выбросов", имеющих принципиально иное распределение. Однако эта модель представляется "тупиковой", поскольку в большинстве случаев большие выбросы либо невозможны из-за ограниченности шкалы прибора либо интервала изменения измеряемой величины, либо от них можно избавиться, применяя лишь статистики, построенные по центральной части  вариационного ряда. Кроме того, в подобных моделях обычно считается известной частота засорения, что в сочетании со сказанным выше делает их малопригодными для практического использования.
Более перспективным представляется, например, модель малых отклонений распределений, в которой расстояние между распределением каждого элемента выборки и базовым распределением не превосходит заданной малой величины, и модель статистики интервальных данных. 
Другое из упомянутых выше направлений - бутстреп - связано с интенсивным использованием возможностей вычислительной техники. Основная идея состоит в том, чтобы теоретическое исследование заменить вычислительным экспериментом. Вместо описания выборки распределением из параметрического семейства строим большое число "похожих" выборок, т.е. "размножаем" выборку. Затем вместо оценивания характеристик (и параметров) и проверки гипотез на основе свойств теоретического распределения решаем эти задачи вычислительным методом, рассчитывая интересующие нас статистики по каждой из "похожих" выборок и анализируя полученные при этом распределения. Например, вместо того, чтобы теоретическим путем находить распределение статистики, доверительные интервалы и другие характеристики, моделируют большое число выборок, похожих на исходную, затем рассчитывают соответствующие значения интересующей исследователя статистики и изучают их эмпирическое распределение. Квантили этого распределения задают доверительные интервалы, и т.д.
Термин "бутстреп" мгновенно получил широкую известность после первой же статьи Б.Эфрона 1979 г. по этой тематике. Он сразу же стал обсуждаться в массе публикаций, в том числе и научно-популярных. В "Заводской лаборатории" № 10 за 1987 г. была помещена подборка статей по бутстрепу. На русском языке выпущен сборник статей Б. Эфрона [16]. Основная идея бутстрепа по Б. Эфрону состоит в том, что методом Монте-Карло (статистических испытаний) многократно извлекаются выборки из эмпирического распределения. Эти выборки, естественно, являются вариантами исходной, напоминают ее. 
	Сама по себе идея "размножения выборок" была известна гораздо раньше. Одна из статей Б. Эфрона в сборнике [16] называется так: "Бутстреп-методы: новый взгляд на метод складного ножа". Упомянутый "метод складного ножа" (jackknife) предложен М. Кенуем еще в 1949 г., за 30 лет до появления статьи Б.Эфрона. "Размножение выборок" при этом осуществляется путем исключения одного наблюдения. Таким образом для выборки объема n получаем n "похожих" на нее выборок объема (n - 1) каждая. Если же исключать по 2 наблюдения, то число "похожих" выборок возрастает до n (n - 1) / 2 объема (n - 2) каждая. 
Преимущества и недостатки бутстрепа как статистического метода обсуждались в главе 11 выше. Там же приводится информация о ряде аналогичных методов. Необходимо подчеркнуть, что бутстреп по Эфрону - лишь один из вариантов методов "размножения выборки" (resampling), и, на наш взгляд, не самый удачный. Метод "складного ножа" представляется более полезным. На его основе можно сформулировать следующую простую практическую рекомендацию.
Предположим, что Вы по выборке делаете какие-либо статистические выводы. Вы хотите узнать также, насколько эти выводы устойчивы. Если у Вас есть другие (контрольные) выборки, описывающие то же явление, то Вы можете применить к ним ту же статистическую процедуру и сравнить результаты. А если таких выборок нет? Тогда Вы можете их построить искусственно. Берете исходную выборку и исключаете один элемент. Получаете похожую выборку (она взята из того же распределения, только объем на единицу меньше). Затем возвращаете этот элемент выборки и исключаете другой. Получаете вторую похожую выборку. Поступив таким образом со всеми элементами исходной выборки, получаете столько выборок, похожих на исходную, каков ее объем. Остается обработать их тем же способом, что и исходную, и изучить устойчивость получаемых выводов - разброс оценок параметров, частоты принятия или отклонения гипотез и т.д. 
Можно изменять не выборку, а сами данные. Поскольку всегда имеются погрешности измерения, то реальные данные - это не числа, а интервалы (результат измерения плюс-минус погрешность). Нужна статистическая теория анализа таких данных.
Перспективное и быстро развивающееся направление последних лет - прикладная математическая статистика интервальных данных. Речь идет о развитии методов математической статистики в ситуации, когда статистические данные - не числа, а интервалы, в частности, порожденные наложением ошибок измерения на значения случайных величин.  
Статистика интервальных данных идейно связана с интервальной математикой, в которой в роли чисел выступают интервалы. Это направление математики является дальнейшим развитием всем известных правил приближенных вычислений, посвященных выражению погрешностей суммы, разности, произведения, частного через погрешности тех чисел, над которыми осуществляются перечисленные операции. К настоящему времени удалось решить, в частности, ряд задач теории интервальных дифференциальных уравнений, в которых коэффициенты, начальные условия и решения описываются с помощью интервалов. 
Одна из ведущих научных школ в области статистики интервальных данных - это школа проф. А.П. Вощинина, активно работающая с конца 70-х годов. В частности, изучены проблемы регрессионного анализа, планирования эксперимента, сравнения альтернатив и принятия решений в условиях интервальной неопределенности.
Рассмотрим другое направление в статистике интервальных данных, которое также представляется перспективным. В нем развиваются асимптотические методы статистического анализа интервальных данных при больших объемах выборок и малых погрешностях измерений. В отличие от классической математической статистики, сначала устремляется к бесконечности объем выборки и только потом - уменьшаются до нуля погрешности. В частности, с помощью такой асимптотики были сформулированы правила выбора метода оценивания параметров гамма-распределения в ГОСТ 11.011-83 [12].
В рамках рассматриваемого научного направления, разработана общая схема исследования, включающая расчет нотны (максимально возможного отклонения статистики, вызванного интервальностью исходных данных) и рационального объема выборки (превышение которого не дает существенного повышения точности оценивания). Она применена к оцениванию математического ожидания, дисперсии, коэффициента вариации, параметров гамма-распределения и характеристик аддитивных статистик, при проверке гипотез о параметрах нормального распределения, в т.ч. с помощью критерия Стьюдента, а также гипотезы однородности с помощью критерия Смирнова. Разработаны подходы к рассмотрению интервальных данных в основных постановках регрессионного, дискриминантного и кластерного анализов. В частности, изучено влияние погрешностей измерений и наблюдений на свойства алгоритмов регрессионного анализа, разработаны способы расчета нотн и рациональных объемов выборок, введены и исследованы новые понятия многомерных и асимптотических нотн, доказаны соответствующие предельные теоремы. Начата разработка интервального дискриминантного анализа, в частности, рассмотрено влияние интервальности данных на введенный в главе 5 показатель качества классификации. Изучено асимптотическое поведение оценок метода моментов и оценок максимального правдоподобия (а также более общих - оценок минимального контраста), проведено асимптотическое сравнение этих методов в случае интервальных данных. Найдены общие условия, при которых, в отличие от классической математической статистики, метод моментов дает более точные оценки, чем метод максимального правдоподобия.  
В области асимптотической математической статистики интервальных данных российская наука имеет мировой приоритет. Развертывание работ по рассматриваемой тематике позволит закрепить этот приоритет, получить теоретические результаты, основополагающие в новой области математической статистики и необходимые для обоснованного статистического анализа почти всех типов данных. Со временем во все виды статистического программного обеспечения должны быть включены алгоритмы интервальной статистики, "параллельные" обычно используемым алгоритмам прикладной математической статистики. Это позволит в явном виде учесть наличие погрешностей у результатов наблюдений, сблизить позиции метрологов и статистиков.
Согласно общепринятой в настоящее время классификации статистических методов прикладная статистика делится на следующие четыре области:
статистика (числовых) случайных величин,
многомерный статистический анализ, 
статистика временных рядов и случайных процессов, 
статистика объектов нечисловой природы.
Первые три из этих областей являются классическими. Они были хорошо известны еще в первой половине ХХ в. Остановимся на четвертой, сравнительно недавно вошедшей в массовое сознание специалистов. Ее именуют также статистикой нечисловых данных или попросту нечисловой статистикой. Анализ динамики развития эконометрики и прикладной статистики приводит к выводу, что в XXI в. она станет центральной областью прикладной статистики, поскольку содержит наиболее общие подходы и результаты.
Исходный объект в прикладной математической статистике - это выборка. В вероятностной теории статистики выборка - это совокупность независимых одинаково распределенных случайных элементов. Какова природа этих элементов? В классической математической статистике элементы выборки - это числа. В многомерном статистическом анализе - вектора. А в нечисловой статистике элементы выборки - это объекты нечисловой природы, которые нельзя складывать и умножать на числа. Другими словами, объекты нечисловой природы лежат в пространствах, не имеющих векторной структуры.
Примерами объектов нечисловой природы являются:
значения качественных признаков, т.е. результаты кодировки объектов с помощью заданного перечня категорий (градаций); 
упорядочения (ранжировки) экспертами образцов продукции (при оценке её технического уровня и конкурентоспособности)) или заявок на проведение научных работ (при проведении конкурсов на выделение грантов);
классификации, т.е. разбиения объектов на группы сходных между собой (кластеры);
толерантности, т.е. бинарные отношения, описывающие сходство объектов между собой, например, сходства тематики научных работ, оцениваемого экспертами с целью рационального формирования экспертных советов внутри определенной области науки;
результаты парных сравнений или контроля качества продукции по альтернативному признаку ("годен" - "брак"), т.е. последовательности из 0 и 1; 
множества (обычные или нечеткие), например, зоны, пораженные коррозией, или перечни возможных причин аварии, составленные экспертами независимо друг от друга;
слова, предложения, тексты;
вектора, координаты которых - совокупность значений разнотипных признаков, например, результат составления статистического отчета о научно-технической деятельности (т.н. форма № 1-наука) или заполненная компьютеризированная история болезни, в которой часть признаков носит качественный характер, а часть - количественный;
	ответы на вопросы экспертной, маркетинговой или социологической анкеты, часть из которых носит количественный характер (возможно, интервальный), часть сводится к выбору одной из нескольких подсказок, а часть представляет собой тексты; и т.д.
Интервальные данные (см. выше) тоже можно рассматривать как пример объектов нечисловой природы, а именно, как частный случай нечетких множеств.
С начала 70-х годов под влиянием запросов прикладных исследований в социально-экономических, технических, медицинских науках в России активно развивается статистика объектов нечисловой природы, известная также как статистика нечисловых данных или нечисловая статистика. В создании этой сравнительно новой области эконометрики и прикладной математической статистики приоритет принадлежит российским ученым.
Большую роль сыграл основанный в 1973 г. научный семинар "Экспертные оценки и анализ данных". В 60-е годы советское научное сообщество стало интересоваться методами экспертных оценок. Как следствие, началось знакомство с конкретными математизированными теориями, связанными с этими методами. Речь идет о репрезентативной теории измерений, ставшей известной в нашей стране по статье П. Суппеса и Дж. Зинеса в сборнике [17] и книге И. Пфанцагля [18], о теории нечеткости, современный этап которой начался с работ Л.А.Заде [19], теории парных сравнений, описанной в монографии Г.Дэвида [20]. К этому кругу идей примыкают теория случайных множеств (см., например, книгу Ж. Матерона [21]) и методы многомерного шкалирования (описаны, в частности,  в монографиях А.Ю.Терехиной [22] и В.Т.Перекреста [23]). Но наибольшее влияние оказали идеи Дж. Кемени, который аксиоматически ввел расстояние между ранжировками (теперь оно именуется в литературе расстоянием Кемени) и предложил использовать в качестве средней величины решение оптимизационной задачи (теперь - медиана Кемени). Его книга [24], написанная в соавторстве с Дж.Снеллом, породила большой поток исследований. 
В течение 70-х годов на основе запросов теории экспертных оценок (а также социологии, экономики, техники и медицины) развивались конкретные направления статистики объектов нечисловой природы. Были установлены связи между конкретными видами таких объектов, разработаны для них вероятностные модели. Научные итоги этого периода подведены в монографиях [14,25,26]).
Следующий этап - выделение статистики объектов нечисловой природы в качестве самостоятельного направления в эконометрике и прикладной статистике, ядром которого являются методы статистического анализа данных произвольной природы. Программа развития этого нового научного направления впервые была сформулирована в статье [27]. Реализация этой программы была осуществлена в 80-е годы. Для работ этого периода характерна сосредоточенность на внутренних проблемах нечисловой статистики. Отметим  сборник научных статей [28], полностью посвященный нечисловой статистике.
К 90-м годам статистика объектов нечисловой природы с теоретической точки зрения была достаточно хорошо развита, основные идеи, подходы и методы были разработаны и изучены математически, в частности, доказано достаточно много теорем. Однако она оставалась недостаточно апробированной на практике. Это было связано как с ее сравнительной молодостью, так и с общеизвестными особенностями организации науки в 80-е годы, когда отсутствовали достаточные стимулы к тому, чтобы теоретики занялись широким внедрением своих результатов. И в 90-е годы наступило время от математико-статистических исследований перейти к применению полученных результатов на практике.  
Следует отметить, что в статистике объектов нечисловой природы, как и в других областях эконометрики, прикладной математической статистики и прикладной математики вообще, одна и та же математическая схема может с успехом применяться и в технических исследованиях, и в менеджменте, и в экономике, и в геологии, и в медицине, и в социологии, и для анализа экспертных оценок, и во многих иных областях, а потому ее лучше всего формулировать и изучать в наиболее общем виде, для объектов произвольной природы. 

1.4. Основные идеи статистики объектов нечисловой природы 

В чем принципиальная новизна нечисловой статистики? Для классической математической статистики характерна операция сложения. При расчете выборочных характеристик распределения (выборочное среднее арифметическое, выборочная дисперсия и др.), в регрессионном анализе и других областях этой научной дисциплины постоянно используются суммы. Математический аппарат - законы больших чисел, Центральная предельная теорема и другие теоремы - нацелены на изучение сумм. В нечисловой же статистике нельзя использовать операцию сложения, поскольку элементы выборки лежат в пространствах, где нет операции сложения. Методы обработки нечисловых данных основаны на принципиально ином математическом аппарате - на применении различных расстояний в пространствах объектов нечисловой природы.
Кратко рассмотрим несколько идей, развиваемых в статистике объектов нечисловой природы для данных, лежащих в пространствах произвольного вида. Решаются классические задачи описания данных, оценивания, проверки гипотез - но для неклассических данных, а потому неклассическими методами.  
Первой обсудим проблему определения средних величин. В рамках репрезентативной теории измерений удается указать вид средних величин, соответствующих тем или иным шкалам измерения. В классической математической статистике средние величины вводят с помощью операций сложения (выборочное среднее арифметическое, математическое ожидание) или упорядочения (выборочная и теоретическая медианы). В пространствах произвольной природы средние значения нельзя определить с помощью операций сложения или упорядочения. Теоретические и эмпирические средние приходится вводить как решения экстремальных задач. Для теоретического среднего это - задача минимизации математического ожидания (в классическом смысле) расстояния от случайного элемента со значениями в рассматриваемом пространстве до фиксированной точки этого пространства (минимизируется указанная функция от этой точки). Для эмпирического среднего математическое ожидание берется по эмпирическому распределению, т.е. берется сумма расстояний от некоторой точки до элементов выборки и затем минимизируется по этой точке. При этом как эмпирическое, так и теоретическое средние как решения экстремальных задач могут быть не единственным элементом пространства, а состоять из множества таких элементов, которое может оказаться и пустым. Тем не менее удалось сформулировать и доказать законы больших чисел для средних величин, определенных указанным образом, т.е. установить сходимость эмпирических средних к теоретическим.
Оказалось, что методы доказательства законов больших чисел допускают существенно более широкую область применения, чем та, для которой они были разработаны. А именно, удалось изучить асимптотику решений экстремальных статистических задач, к которым, как известно, сводится большинство постановок прикладной статистики. В частности, кроме законов больших чисел установлена и состоятельность оценок минимального контраста, в том числе оценок максимального правдоподобия и робастных оценок. К настоящему времени подобные оценки изучены также и в интервальной статистике.
В статистике в пространствах произвольной природы большую роль играют непараметрические оценки плотности, используемые, в частности, в различных алгоритмах регрессионного, дискриминантного, кластерного анализов. В нечисловой статистике предложен и изучен ряд типов непараметрических оценок плотности в пространствах произвольной природы, в частности, доказана их состоятельность, изучена скорость сходимости и установлен примечательный факт совпадения наилучшей скорости сходимости в произвольном случае с той, которая имеет быть в классической теории для числовых случайных величин.
Дискриминантный, кластерный, регрессионный анализы в пространствах произвольной природы основаны либо на параметрической теории - и тогда применяется подход, связанный с асимптотикой решения экстремальных статистических задач - либо на непараметрической теории - и тогда используются алгоритмы на основе непараметрических оценок плотности.
Для проверки гипотез могут быть использованы статистики интегрального типа, в частности, типа омега-квадрат. Любопытно, что предельная теория таких статистик, построенная первоначально в классической постановке [29], приобрела естественный (завершенный, изящный) вид именно для пространств произвольного вида [30].
Представляют практический интерес результаты, связанные с конкретными областями статистики объектов нечисловой природы. В частности, со статистикой нечетких множеств, развитой в книге [31], и со статистикой случайных множеств [14] (следует отметить, что теория нечетких множеств в определенном смысле сводится к теории случайных множеств [14,31]), с непараметрической теорией парных сравнений, с аксиоматическим введением метрик в конкретных пространствах объектов нечисловой природы [28], и с рядом других конкретных постановок.  
Для анализа нечисловых, в частности, экспертных данных весьма важны методы классификации. С другой стороны, наиболее естественно ставить и решать задачи классификации, основанные на использовании расстояний или показателей различия, в рамках статистики объектов нечисловой природы. Это касается как распознавания образов с учителем (другими словами, дискриминантного анализа), так и распознавания образов без учителя (т.е. кластерного анализа).  
Статистические методы анализа нечисловых данных особенно хорошо приспособлены для применения в экономике, социологии и экспертных оценках, поскольку в этих областях от 50% до 90% данных являются нечисловыми.
Выше рассмотрены пять "точек роста" эконометрики и прикладной статистики. Разумеется, они не исчерпывают все многообразие фронта научных исследований в рассматриваемых областях. Кроме того, в настоящем разделе почти не затронуты разнообразные применения эконометрических и статистических методов в конкретных прикладных исследованиях и разработках. Много интересных проблем есть в планировании экспериментов, особенно кинетических (см., например, статью [31]), при анализе проблем надежности, в новых статистических методах управления качеством продукции, в том числе в связи с идеями Г. Тагути, при анализе рисков, в вопросах экологии и безопасности и др. 
В течение последних более чем 60 лет в России наблюдается огромный разрыв между государственной статистикой и научным сообществом специалистов по статистическим методам (подробнее об этом см. статью [7]). В учебнике по истории статистики [32] даже не упоминаются имена членов-корреспондентов АН СССР Н.В.Смирнова и Л.Н. Большева! А ведь они – единственные представители именно математической статистики как таковой в Академии наук в ХХ в. (еще ряд членов Академии наук имели математическую статистику среди своих интересов, но Н.В. Смирнов и Л.Н. Большев занимались практически только ею). Поэтому нет ничего удивительного в том, что тенденции развития современной эконометрики и прикладной математической статистики столь же мало обсуждаются отечественными авторами, как и ее история. 

	2. ЭКОНОМЕТРИЧЕСКАЯ ПОДДЕРЖКА КОНТРОЛЛИНГА
 
	2.1. Основные черты современной эконометрики

 	Как показано в разделе 1, эконометрика – наука, изучающая конкретные количественные и качественные взаимосвязи экономических объектов и процессов с помощью математических и статистических методов и моделей.  Эконометрические методы - это прежде всего методы статистического анализа конкретных экономических данных, естественно, с помощью компьютеров. В нашей стране они пока сравнительно мало известны, хотя именно у нас наиболее мощная научная школа в области основы эконометрики – теории вероятностей. 
Статистические (эконометрические) методы используются в зарубежных и отечественных экономических и технико-экономических исследованиях, работах по управлению (менеджменту). Применение прикладной статистики и других статистических методов дает заметный экономический эффект. Например,  в США - не менее 20 миллиардов долларов ежегодно только в области статистического контроля качества. Как уже отмечалось, в 1988 г. затраты на статистический анализ данных в нашей стране оценивались в 2 миллиарда рублей ежегодно. Согласно расчетам сравнительной стоимости валют на основе потребительских паритетов, эту величину можно сопоставить с 2 миллиардами долларов США. Следовательно, объем отечественного "рынка статистических и эконометрических услуг" был на порядок меньше, чем в США, что совпадает с оценками и по другим показателям, например, по числу специалистов. 
	В мировой науке эконометрика занимает достойное место. Нобелевские премии по экономике получили эконометрики Ян Тильберген, Рагнар Фриш, Лоуренс Клейн, Трюгве Хаавельмо. В 2000 г. к ним добавились еще двое - Джеймс Хекман и Дэниель Мак-Фадден. Выпускается ряд научных журналов, полностью посвященных эконометрике, в том числе: Journal of Econometrics (Швеция), Econometric Reviews (США), Econometrica (США), Sankhya. Indian Journal of Statistics. Ser.D. Quantitative Economics (Индия), Publications Econometriques (Франция), электронный еженедельник "Эконометрика" (Россия). 
	 Однако в нашей стране по ряду причин эконометрика  не была сформирована  как самостоятельное направление научной и практической деятельности, в отличие, например, от Польши, которая стараниями известного экономиста О.Ланге и его коллег покрыта сетью эконометрических "институтов" (в российской терминологии - кафедр вузов). В настоящее время (примерно с 1997 г.) в России начинают развертываться эконометрические исследования, в частности, начинается широкое преподавание этой  дисциплины. 
	В последние годы все большую популярность получает контроллинг - современная концепция системного управления организацией, в основе которой лежит стремление обеспечить ее долгосрочное эффективное существование. Обсудим, что может дать эконометрика контроллеру (специалисту по контроллингу), какие инструменты анализа данных она может предложить для решения типовых задач, стоящих перед контроллером. 
	Проблемы такого рода - а именно, что может дать эконометрика той или иной области, какие средства решения типовых задач она может предложить - возникают не впервые. Приходилось выступать и на весьма широкую тему: "Что дает прикладная статистика народному хозяйству?" [1]. В частности, ранее обсуждался набор эконометрических и экономико-математических инструментов, поддерживающих менеджмент и маркетинг малого бизнеса [33]. Средством поддержки проведения экспертных исследований, в частности, в задачах обеспечения химической безопасности биосферы и экологического страхования, служило автоматизированное рабочее место "Математика в экспертизе" (сокращенно АРМ МАТЭК) [34]. С целью эконометрической поддержки задач сертификации и обеспечения качества промышленной продукции была разработана обширная система программных продуктов по статистическому приемочному контролю, планированию эксперимента, контрольным картам, надежности и испытаниям, прикладной статистике и другим вопросам [35]. Обобщая, можно сказать, что любая достаточно важная и развитая прикладная сфера деятельности требует создания адекватного эконометрического сопровождения. Это сопровождение дает рассматриваемой сфере деятельности инструменты (методы) анализа данных для решения стоящих перед нею задач. 

	2.2. Эконометрические инструменты контроллинга

	Эконометрика - дисциплина методическая, посвящена методам, которые могут применяться в различных предметных областях. Напротив, контроллинг - предметная дисциплина, для решения задач своей предметной области привлекает те методы, которые оказываются полезными. 
	Прежде всего надо обсудить вопрос: нужны ли, полезны ли для решения задач контроллинга эконометрические методы? 
	Для ответа на этот вопрос проанализируем "Глоссарий по контроллингу". Он включен в материалы симпозиума "Теория и практика контроллинга в России", проведенного 4-5 октября 2001 г., МГТУ им. Н.Э.Баумана. В нем, в частности, содержатся термины:
Абсолютные отклонения, Вербальные переменные, Индексы,
Интервальные данные, Исследование операций, Кривая опыта,
Кумулятивные отклонения, Метод сценариев, 
Относительные отклонения, Принятие решений, 
Размытые множества, Риски (угрозы), Ряды, 
Системный анализ, Средние величины, 
Управление по отклонениям, Фактические величины,
Шансы, Эконометрика, Эмпирико-индуктивные показатели.
	Все эти многочисленные термины относятся к эконометрике и охватывают различные ее разделы - от классических (средние величины) до самых современных - статистики объектов нечисловой природы (включая вербальные и размытые переменные) и статистики интервальных данных. 
	Видимо, ответ на поставленный вопрос уже не вызывает сомнений у специалистов - эконометрические методы представляют собой важную часть научного инструментария контроллера, а их компьютерная реализация - важную часть информационной поддержки контроллинга. Обсуждать целесообразно содержание этого инструментария. Первоначальные соображения были высказаны в работе [36]. 
	Классификация эконометрических инструментов может быть проведена по различным основаниям: по методам, по виду данных, по решаемым задачам и т.п. В частности, при классификации по методам целесообразно выделять следующие блоки:
1.1. Описание данных и их графическое представление.
1.2. Углубленный вероятностно-статистический анализ.
1.3. Поддержка экспертных исследований.
1.4. Методы сценариев и анализа рисков.
	При классификации на основе вида данных эконометрические алгоритмы естественно делить по тому, каков вид данных "на входе":
2.1. Числа.
2.2. Конечномерные вектора.
2.3. Функции (временные ряды).
2.4. Объекты нечисловой природы, в том числе упорядочения (и другие бинарные отношения), вербальные (качественные) переменные, нечеткие (размытые, расплывчатые) переменные, интервальные данные, и др.
	Наиболее интересна классификация по тем задачам контроллинга, для решения которых используются эконометрические методы. При таком подходе могут быть выделены блоки:
3.1. Поддержка прогнозирования и планирования.
3.2. Слежение за контролируемыми параметрами и обнаружение отклонений.
3.3. Поддержка принятия решений, и др.
От каких факторов зависит частота использования тех или иных эконометрических инструментов контроллинга? Как и при иных применениях эконометрики, основных групп факторов два - это решаемые задачи и квалификация специалистов.
Искусственная примитивизация перечня решаемых задач, естественно, приводит, к искусственному сокращению списка применяемых методов. Например, Госкомстат РФ так ограничил область своей деятельности, что для решения поставленных им перед собой задач вполне достаточно обычных статистических таблиц - инструментов XIX в. (Для подтверждения этой мысли достаточно обратиться к публикациям Госкомстата РФ.) Подчеркнем, что для решения этих задач ему не нужны разработки эконометриков, получивших за свои исследования нобелевские премии по экономике. Как не нужны и вообще все работы по эконометрике ХХ в. Однако весь арсенал современной эконометрики может быть с успехом использован, если мы откажемся от искусственного ограничения перечня решаемых задач. В частности, если от описания существующего положения перейдем к прогнозированию на основе вероятностно-статистических моделей.
Как влияет квалификация специалистов? Она ограничивает круг решаемых задач и методов их решения. С субъективной точки зрения то, что люди не знают - для них не существует. Однако конкурентная борьба требует поиска преимуществ по сравнению с другими фирмами. Знание эконометрических методов дает такие преимущества.
Достаточно подробное представление об эконометрике могут дать лишь монографии, содержащие описания основных подходов, идей, алгоритмов, Примером является учебное пособие [37]. В настоящем разделе эконометрика рассматривается "с птичьего полета". Такой подход дает возможность познакомиться с общей ситуацией, но не с конкретными алгоритмами анализа данных.
При практическом применении эконометрических методов в работе контроллера необходимо применять соответствующие программные системы. Могут быть полезны и общие статистические системы типа SPSS, Statgraphics, Statistica, ADDA, и более специализированные Statcon, SPC, NADIS, REST (по статистике интервальных данных), Matrixer и многие другие. Массовое внедрение программных продуктов, включающих современные эконометрические инструменты анализа конкретных экономических данных, следует рассматривать как один из эффективных способов ускорения научно-технического прогресса [38].
	Почему старые методы эконометрики не подходят для новых условий? При взгляде на эконометрику со стороны часто возникает мысль о том, что за десятилетия развития этой научно-практической дисциплины все ее основные проблемы решены, остается только применять разработанные методы к тем конкретным экономическим данным, которые представляют интерес для исследователя. Эта мысль неверна в принципе, причем по двум основным причинам. Во-первых, прикладные исследования приводят к необходимости анализировать данные новой природы, например, являющиеся перечисленными выше видами объектов нечисловой природы. Во-вторых, выясняется необходимость более глубокого анализа классических методов.
	Хорошим примером для обсуждения являются методы проверки однородности двух выборок. Есть две совокупности, и надо решить, различаются или совпадают. Для этого из каждой из них берут по выборке и применяют тот или иной эконометрический метод проверки однородности. Около 100 лет назад был предложен метод Стьюдента,  широко применяемый и сейчас. Однако он имеет целый букет недостатков. Во-первых, распределения элементов выборок должны быть нормальными (гауссовыми). Как правило, это не так. Во вторых, он нацелен на проверку не однородности в целом (т.н. абсолютной однородности, т.е. совпадения функций распределения, соответствующих двум совокупностям), а только на проверку равенства математических ожиданий. Но, в-третьих, при этом обязательно предполагается, что дисперсии для элементов двух выборок совпадают. Самое интересное, что проверять равенство дисперсий, а тем более нормальность, гораздо труднее, чем равенство математических ожиданий. Поэтому критерий Стьюдента обычно применяют, не делая таких проверок. А тогда и выводы по критерию Стьюдента повисают в воздухе.
	Более продвинутые специалисты обращаются к другим критериям, например, к критерию Вилкоксона. Он является непараметрическим, т.е. не опирается на предположение нормальности. Но и он, как выяснилось, не лишен недостатков. С его помощью нельзя проверить абсолютную однородность (совпадение функций распределения, соответствующих двум совокупностям).  Это можно сделать только с помощью т.н. состоятельных критериев, в частности, критериев Смирнова и типа омега-квадрат (Лемана-Розенблатта). 
	С практической точки зрения критерий Смирнова обладает необычным недостатком - его статистика принимает лишь небольшое число значений, ее распределение сосредоточено в небольшом числе точек, и не удается пользоваться традиционными уровнями значимости 0,05 и 0,01. Поэтому в настоящее время остается рекомендовать критерий типа омега-квадрат (Лемана-Розенблатта). Но - для него нет достаточно подробных таблиц, он не включен в популярные пакеты эконометрических программ.
	Отметим фиаско специалистов по математической статистике. Они не в состоянии ответить на естественный вопрос: "Каким методом проверять однородность двух выборок?" Дело в том, что для каждого метода она могут указать т.н. альтернативную гипотезу, при котором этот метод является наилучшим (в том смысле, который они рассматривают; этих смыслов несколько - оптимальность по Ходжесу-Леману, по Бахадуру и др.). Однако в практических задачах обычно совершенно непонятно, откуда брать "альтернативную гипотезу". Таким образом, в данной области  математическая статистика выродилась в схоластику.
	Проблему выбора наилучшего эконометрического метода проверки однородности двух выборок нельзя считать окончательно решенной (подробнее эта тема рассмотрена в следующем разделе).
Рассмотрим другой важный пример. Многие данные в информационных системах имеют нечисловой характер, например, являются словами или принимают значения из конечных множеств. Нечисловой характер имеют и упорядочения, которые дают эксперты или менеджеры, например, выбирая главную цель, следующую по важности и т.д.  Значит, нужна статистика нечисловых данных. Далее, многие величины известны не абсолютно точно, а с некоторой погрешностью - от и до. Другими словами, исходные данные - не числа, а интервалы. Нужна статистика интервальных данных.  В монографии [39, с.138] по контроллингу хорошо сказано: "Нечеткая логика - мощный элегантный инструмент современной науки, который на Западе (и на Востоке  - в Японии, Китае - А.О.)  можно встретить в десятках изделий - от бытовых видеокамер до систем управления вооружениями, - у нас до самого последнего времени был практически неизвестен". Напомним, первая монография российского автора по теории нечеткости была выпущена в 1980 г. [40]. Ни статистики нечисловых данных, ни статистики интервальных данных, ни статистики нечетких данных нет и не могло быть в классической статистике. Все это - высокие эконометрические (статистические) технологии. Они разработаны за последние 10-30-50 лет.    
 	Важная часть эконометрики - применение высоких эконометрических технологий [37] к анализу конкретных экономических данных, что зачастую требует дополнительной теоретической работы по доработке   технологий применительно к конкретной ситуации. Большое значение имеют конкретные эконометрические модели, например, модели экспертных оценок   или экономики качества.  И конечно, такие конкретные применения, как расчет и прогнозирование индекса инфляции. Сейчас уже многим ясно, что годовой бухгалтерский баланс предприятия может быть использован для оценки его финансово-хозяйственной деятельности только с привлечением данных об инфляции.
   
	2.3. Высокие эконометрические технологии и их возможности для решения задач управления и контроллинга 
 
	Термин "высокие технологии" популярен в современной научно-технической литературе. Он используется для обозначения наиболее передовых технологий, опирающихся на последние достижения научно-технического прогресса. Есть такие технологии и среди эконометрических технологий анализа конкретных экономических данных для решения задач управления и контроллинга - как в любой интенсивно развивающейся научно-практической области.
 	Примеры высоких эконометрических технологий и входящих в них алгоритмов анализа данных, подробный анализ современного состояния и перспектив развития даны в работе [41]. В частности, в качестве "высоких эконометрических технологий" были выделены технологии непараметрического анализа данных; устойчивые (робастные) технологии; технологии, основанные на размножении выборок, на использовании достижений статистики  нечисловых данных и статистики интервальных данных.
Обсудим пока не вполне привычный термин "высокие статистические технологии". Каждое из трех слов несет свою смысловую нагрузку.
 	"Высокие", как и в других областях, означает, что технология опирается на современные достижения теории и практики, в частности, теории  вероятностей и прикладной математической статистики. При этом "опирается на современные научные достижения" означает, во-первых, что математическая основа технологии в рамках соответствующей научной дисциплины получена сравнительно недавно, во-вторых, что алгоритмы расчетов разработаны и обоснованы в соответствии в нею (а не являются т.н. "эвристическими"). Со временем, если новые подходы и результаты не заставляют пересмотреть оценку применимости и возможностей технологии, заменить ее на более современную, "высокие эконометрические (статистические) технологии" переходят в "классические эконометрические (статистические) технологии", такие, как метод наименьших квадратов. Итак, высокие статистические технологии - плоды недавних серьезных научных исследований. Здесь два ключевых понятия - "молодость" технологии (во всяком случае, не старше 50 лет, а лучше - не старше 10 или 30 лет) и опора на "высокую науку".
	Термин "статистические" привычен, но разъяснить его нелегко. Во всяком случае, к деятельности Государственного комитета РФ по статистике высокие эконометрические (статистические) технологии отношения не имеют. Как известно, сотрудники проф. В.В. Налимова собрали более 200 определений термина "статистика" (см. об этом в работе [41]). Полемика вокруг терминологии иногда принимает весьма острые формы (см., например, редакционные замечания к статье [1], написанные в стиле известных высказываний о генетике и кибернетике конца 1940-х годов).  В частности, с точки зрения эконометрики статистические данные – это результаты измерений, наблюдений, испытаний, анализов, опытов, а "эконометрические (статистические) технологии" - это технологии анализа эконометрических (статистических) данных.
	Наконец, редко используемый применительно к статистике термин "технологии". Эконометрический (статистический) анализ данных, как правило, включает в себя целый ряд процедур и алгоритмов, выполняемых последовательно, параллельно или по более сложной схеме. В частности, можно выделить следующие этапы:
	- планирование статистического исследования; 
	- организация сбора необходимых статистических данных по оптимальной или хотя бы рациональной программе (планирование выборки, создание организационной структуры и подбор команды эконометриков или статистиков, подготовка кадров, которые будут заниматься сбором данных, а также контролеров данных и т.п.);
	- непосредственный сбор данных и их фиксация на тех или иных носителях (с контролем качества сбора и отбраковкой ошибочных данных по соображениям предметной области);
- первичное описание данных (расчет различных выборочных характеристик, функций распределения, непараметрических оценок плотности, построение гистограмм, корреляционных полей, различных таблиц и диаграмм  и т.д.), 
- оценивание тех или иных числовых или нечисловых характеристик и параметров распределений (например, непараметрическое интервальное оценивание коэффициента вариации или восстановление зависимости между откликом и факторами, т.е. оценивание функции), 
- проверка статистических гипотез (иногда их цепочек - после проверки предыдущей гипотезы принимается решение о проверке той или иной последующей гипотезы), 
- более углубленное изучение, т.е. применение различных алгоритмов многомерного статистического анализа, алгоритмов диагностики и построения классификации, статистики нечисловых и интервальных данных, анализа временных рядов и др.; 
- проверка устойчивости полученных оценок и выводов относительно допустимых отклонений исходных данных и предпосылок используемых вероятностно-статистических моделей, допустимых преобразований шкал измерения, в частности, изучение свойств оценок методом размножения  выборок;
- применение полученных статистических результатов в прикладных целях (например, для диагностики конкретных материалов, построения прогнозов, выбора инвестиционного проекта из предложенных вариантов, нахождения оптимальных режима осуществления технологического процесса, подведения итогов испытаний образцов технических устройств  и др.), 
- составление итоговых отчетов, в частности, предназначенных для тех, кто не является специалистами в эконометрических и статистических методах анализа данных, в том числе для руководства - "лиц, принимающих решения".  
	Возможны и иные структуризации эконометрических (статистических) технологий. Важно подчеркнуть, что квалифицированное и результативное применение эконометрических (статистических) методов - это отнюдь не проверка одной отдельно взятой статистической гипотезы или оценка параметров одного заданного распределения из фиксированного семейства. Подобного рода операции - только отдельные кирпичики, из которых складывается здание статистической технологии. Между тем в литературе по статистике и эконометрике обычно рассказывают об отдельных кирпичиках, но не обсуждают проблемы их организации в технологию, предназначенную для прикладного использования.
	Итак, процедура эконометрического или статистического анализа данных – это информационный технологический процесс, другими словами, та или иная информационная технология. Эконометрическая (статистическая) информация подвергается разнообразным операциям (последовательно, параллельно или по более сложным схемам). В настоящее время об автоматизации всего процесса эконометрического (статистического) анализа данных говорить было бы несерьезно, поскольку имеется слишком много нерешенных проблем, вызывающих дискуссии среди специалистов. "Экспертные системы" в области статистического анализа данных пока не стали рабочим инструментом статистиков.  
	В литературе эконометрические (статистические) технологии пока  рассматриваются явно недостаточно. В частности, обычно все внимание сосредотачивается на том или ином элементе технологической цепочки, а переход от одного элемента к другому остается в тени. Между тем проблема "стыковки" статистических алгоритмов, как известно, требует специального рассмотрения, поскольку в результате  использования предыдущего алгоритма зачастую нарушаются условия применимости последующего. В частности, результаты наблюдений могут перестать быть независимыми, может измениться их распределение и т.п.  
	Например, при проверке статистических гипотез большое значение имеют такие хорошо известные характеристики статистических критериев, как уровень значимости и мощность. Методы их расчета и использования при проверке одной гипотезы обычно хорошо известны. Если же сначала проверяется одна гипотеза, а потом с учетом результатов ее проверки - вторая, то итоговая процедура, которую также можно рассматривать как проверку некоторой (более сложной) статистической гипотезы, имеет характеристики (уровень значимости и мощность), которые, как правило, нельзя просто выразить через характеристики двух составляющих гипотез, а потому они обычно неизвестны. В результате итоговую процедуру нельзя рассматривать как научно обоснованную, она относится к эвристическим алгоритмам. Конечно, после соответствующего изучения, например, методом Монте-Карло, она  может войти в число научно обоснованных процедур прикладной статистики. 
	Почему живучи "низкие эконометрические (статистические) технологии"? "Высоким статистическим технологиям" противостоят, естественно, "низкие статистические технологии". Это те технологии, которые не соответствуют современному уровню науки и техники. Обычно они одновременно и устарели, и не адекватны сути решаемых эконометрических и статистических задач. 
	Примером является уже упомянутое использование критерия Стьюдента для проверки однородности двух выборок, когда условия его применимости не выполнены. Можно также вспомнить дурную традицию использования классических процентных точек критериев Колмогорова и омега-квадрат в ситуациях, когда параметры оцениваются по выборке, а затем эти оценки подставляются в "теоретическую" функцию распределения. Приходилось констатировать широкое распространение таких порочных технологий и конкретных алгоритмов, в том числе в государственных и международных стандартах (перечень ошибочных стандартов дан в статье [35]), учебниках и распространенных пособиях. Тиражирование ошибок происходит обычно в процессе обучения в вузах или путем самообразования при использовании недоброкачественной литературы. 
	На первый взгляд вызывает удивление устойчивость "низких статистических технологий", их постоянное возрождение во все новых статьях, монографиях, учебниках. Поэтому, как ни странно, наиболее "долгоживущими" оказываются не работы, посвященные новым научным результатам, а публикации, разоблачающие ошибки.
Целесообразно рассмотреть здесь по крайней мере три обстоятельства, которые определяют эту устойчивость ошибок. 
Во-первых, прочно закрепившаяся традиция. Новое поколение, обучившись ошибочным алгоритмам, их использует, а с течением времени – пишет новые учебники со старыми ошибками.
 	Во-вторых, трудно дать экономическую оценку эффективности применения эконометрических (статистических) методов вообще и оценку вреда от применения ошибочных методов в частности. (А без такой оценки как докажешь, что "высокие статистические технологии" лучше "низких"?) Некоторые соображения по первому из этих вопросов приведены в статье [1], содержащей оценки экономической эффективности ряда работ по применению статистических методов. При оценке вреда от применения ошибочных методов приходится учитывать, что общий успех в конкретной инженерной или научной работе вполне мог быть достигнут вопреки их применению, за счет "запаса прочности" других составляющих общей работы. 
В-третьих, велики  трудности, связанные со знакомством с высокими эконометрическими (статистическими) технологиями. Отметим естественную задержку во времени между созданием "новых эконометрических (статистических) технологий" и написанием полноценной и объемной учебной и методической литературы, которая должна позволять знакомиться с новой методологией, новыми методами, теоремами, алгоритмами, технологиями не по кратким оригинальным статьям, а при обычном обучении в высшей школе.

2.4. Как ускорить внедрение "высоких эконометрических (статистических) технологий"? 

Таким образом, весь арсенал используемых эконометрических и статистических методов можно распределить по трем потокам:
-	высокие эконометрические (статистические)  технологии;
-	классические эконометрические (статистические)  технологии,
-	низкие эконометрические (статистические)  технологии.
Основная современная проблема эконометрики состоит в обеспечении того, чтобы в конкретных эконометрических и статистических исследованиях использовались только технологии первых двух типов. При этом под классическими эконометрическими (статистическими) технологиями понимаем технологии почтенного возраста, сохранившие свое значение для современной статистической практики. Таковы метод наименьших квадратов, статистики Колмогорова, Смирнова, омега-квадрат, непараметрические коэффициенты корреляции Спирмена и Кендалла и многие другие эконометрические (статистические)   процедуры.
	Каковы возможные пути решения основной современной проблемы в области эконометрики? 
	В нашей стране по ряду причин эконометрика  не была сформирована  как  самостоятельное  направление научной и практической деятельности, в отличие, например, от Польши, не говоря уже об англосаксонских странах. В результате специалистов - эконометриков у нас на порядок меньше, чем в США и Великобритании (Американская статистическая ассоциация включает более 20000 членов). Бороться с конкретными невеждами - дело почти безнадежное.  Единственный путь - обучение. Какие бы новые научные результаты ни были получены, если они остаются неизвестными студентам, то новое поколение исследователей и инженеров вынуждено осваивать их по одиночке, а то и переоткрывать. Несколько огрубляя, можно сказать: то, что попало в учебные курсы и соответствующие учебные пособия - то сохраняется, что не попало - то пропадает.  
В России начинают развертываться эконометрические исследования и преподавание эконометрики. Среди технических вузов факультет "Инженерный бизнес и менеджмент" МГТУ им. Н.Э.Баумана имеет в настоящее время приоритет в преподавания эконометрики. 
 	Мы полагаем, что экономисты, менеджеры и инженеры, прежде всего специалисты по контроллингу, должны быть вооружены современными средствами информационной поддержки, в том числе высокими статистическими технологиями и эконометрикой. Очевидно, преподавание должно идти впереди практического применения. Ведь как применять то, чего не знаешь?
	Один раз - в 1990-1992 гг. мы уже обожглись на недооценке необходимости предварительной подготовки тех, для кого предназначены современные компьютерные средства. Наш коллектив (Всесоюзный центр статистических методов и информатики Центрального правления Всесоюзного экономического общества) разработал систему диалоговых программных систем обеспечения качества продукции (см. о них в статьях [35, 38]). Их созданием руководили ведущие специалисты страны. Но распространение программных продуктов шло на 1-2 порядка медленнее, чем ожидалось. Причина стала ясна не сразу. Как оказалось, работники предприятий просто не понимали возможностей разработанных систем, не знали, какие задачи можно решать с их помощью, какой экономический эффект они дадут. А не понимали и не знали потому, что в вузах никто их не учил статистическим методам управления качеством. Без такого систематического обучения нельзя обойтись - сложные концепции "на пальцах" за пять минут не объяснишь.
	Есть и противоположный пример - положительный. В середине 1980-х годов в советской средней школе ввели новый предмет "Информатика". И сейчас молодое поколение превосходно владеет компьютерами, мгновенно осваивая быстро появляющиеся новинки, и этим заметно отличается от тех, кому за 30-40 лет. Если бы удалось ввести в средней школе курс вероятности и статистики - а такой курс есть в Японии и США, Швейцарии, Кении и Ботсване, почти во всех странах (см. подготовленный ЮНЕСКО сборник докладов [15]) - то ситуация могла бы быть резко улучшена. Надо, конечно, добиться, чтобы такой курс был построен на высоких эконометрических (статистических) технологиях, а не на низких. Другими словами, он должен отражать современные достижения, а не концепции пятидесятилетней или столетней давности.

3. ЭКОНОМЕТРИЧЕСКИЕ МЕТОДЫ 
ПРОВЕРКИ ОДНОРОДНОСТИ  
 
	В разделе показано, что предпосылки традиционно используемого для проверки однородности двухвыборочного критерия Стьюдента, как правило, не выполняются. Для проверки однородности математических ожиданий вместо критерия Стьюдента предлагается использовать критерий Крамера-Уэлча. Далее обсуждаются непараметрические критерии для проверки гипотезы однородности функций распределения.
Статистические методы применяются в большинстве научных и прикладных работ в области техники и технологии. Среди наиболее популярных - методы проверки однородности двух независимых выборок.  
	Началом современного этапа теории статистических методов - математической статистики - можно считать основание К. Пирсоном (К. Pearson) в 1900 г. журнала «Biometrika». В настоящее время в большинстве технических и технико-экономических исследований используются статистические методы, разработанные в основном в первой трети XX века. Объяснение простое – именно они составляют содержание распространенных учебников. Однако математическая статистика бурно развивалась и в последующие 60 с лишним лет [41]. Кроме решения новых задач, изучались свойства традиционных статистических методов, предлагались новые методы для применения в классических постановках. В ряде ситуаций назрела необходимость перехода от классических методов к современным. В качестве примера, разбор которого составляет основное содержание настоящего раздела отчета, рассмотрим задачу проверки однородности двух выборок. 
 
3.1. Задача проверки однородности

В математико-статистических терминах постановка задачи такова: имеются две выборки x1, x2,...,xm и y1, y2,...,yn (т. е. наборы из m и п действительных чисел), требуется проверить их однородность. Термин «однородность» уточняется ниже. 
Противоположным понятием является «различие». Можно переформулировать задачу: требуется проверить, есть ли различие между выборками. Если различия нет, то для дальнейшего изучения часто выборки объединяют.

3.2. Традиционный метод   (критерий Стьюдента).

Для дальнейшего критического разбора опишем традиционный статистический метод проверки однородности. Вычисляют средние арифметические в каждой выборке
 ,
затем выборочные дисперсии
 ,  
и статистику Стьюдента t, на основе которой принимают решение,
  .    (1)
По заданному уровню значимости  и числу степеней свободы (m+n _ 2) из таблиц распределения Стьюдента находят критическое значение tкр. Если |t|>tкр, то гипотезу однородности (отсутствия различия) отклоняют, если же |t|<tкр, то принимают. (При односторонних альтернативных гипотезах вместо условия |t|>tкр проверяют, что t>tкр; эту постановку рассматривать не будем, так как в ней нет принципиальных отличий от обсуждаемой нами.)
Рассмотрим условия применимости традиционного метода проверки однородности, основанного на использовании статистики t Стьюдента, а также укажем более современные методы.
	Для обоснованного применения математико-статистических методов необходимо прежде всего построить и обосновать вероятностную модель порождения данных. При проверке однородности двух выборок общепринята модель, в которой x1, x2,...,xm рассматриваются как результаты m независимых наблюдений некоторой случайной величины Х с функцией распределения F(x), неизвестной статистику, а y1, y2,...,yn - как результаты п независимых наблюдений, вообще говоря, другой случайной величины Y с функцией распределения G(x), также неизвестной статистику. Предполагается также, что наблюдения в одной выборке не зависят от наблюдений в другой, поэтому выборки и называют независимыми.
Возможность применения модели в конкретной реальной ситуации требует обоснования. Независимость и одинаковая распределенность результатов наблюдений, входящих в выборку, могут быть установлены или исходя из методики проведения конкретных наблюдений, или путем проверки статистических гипотез независимости и одинаковой распределенности с помощью соответствующих критериев [13, 43].
Если проведено (т+п) измерений линейных размеров деталей, то описанную выше модель, как правило, можно применять. Если же, например, xi и yi - результаты наблюдения одного и того же  образца до и после определенного технологического воздействия, то рассматриваемую модель применять нельзя. (В этом случае используют модель т.н. связанных выборок, в которой  обычно строят новую выборку zi = xi - yi и используют статистические методы анализа одной выборки, а не двух.)
При дальнейшем изложении принимаем описанную выше вероятностную модель двух выборок.
Понятие «однородность», т. е. «отсутствие различия», может быть формализовано в терминах вероятностной модели различными способами.
Наивысшая степень однородности достигается, если обе выборки взяты из одной и той же генеральной совокупности, т. е. справедлива нулевая гипотеза
H0 : F(x)=G(x) при всех х.
Отсутствие однородности означает, что верна альтернативная гипотеза, согласно которой
H1 : F(x0)G(x0) 
хотя бы при одном значении аргумента x0. Если гипотеза H0  принята, то выборки можно объединить в одну, если нет - то нельзя.
В некоторых случаях целесообразно проверять не совпадение функций распределения, а совпадение некоторых характеристик случайных величин Х и Y - математических ожиданий, медиан, дисперсий, коэффициентов вариации и др. Например, однородность математических ожиданий означает, что справедлива гипотеза
H'0 : E(X)=E(Y),
где Е(Х) и E(Y) - математические ожидания случайных величин Х и Y, результаты наблюдений над которыми составляют первую и вторую выборки соответственно. Различие между выборками в рассматриваемом случае - это справедливость альтернативной гипотезы
H'1 : E(X)  E(Y) .
Если гипотеза H0  верна, то и гипотеза H'0 верна, но из справедливости H'0  не следует справедливость H0 . В частности, если в результате обработки выборочных данных принята гипотеза H'0, то отсюда не следует, что две выборки можно объединить в одну. Однако в ряде ситуаций целесообразна проверка именно гипотезы H'0 .  Например, пусть концентрация SiO2 в мартеновском шлаке определяется  весовым (первая выборка) или фотоколориметрическим (вторая выборка) методами.  Тогда важно проверить гипотезу об отсутствии систематических расхождений результатов весового и фотоколориметрического методов [13], т.е. гипотезу о равенстве математических ожиданий. Другой пример – из медицины труда. Пусть изучается эффективность лечения определенного профессионального заболевания двумя препаратами; результаты наблюдения - число дней нетрудоспособности, а показатель эффективности лечения - среднее число дней нетрудоспособности на одного больного. Тогда для сравнения эффективности препаратов достаточно проверить гипотезу H'0 .
Пусть выполнены два классических условия применимости критерия Стьюдента, основанного на использовании статистики t, заданной формулой (1):
а) результаты наблюдений имеют нормальные распределения
F(x)=N(x; m1, 12) и G(x)=N(x; m2, 22) 
с математическими ожиданиями m1 и m2 и дисперсиями 12 и 22 в первой и во второй выборках соответственно;
б) дисперсии результатов наблюдений в первой и второй выборках совпадают:
D(X)=12=D(Y)=22.
Если условия а) и б) выполнены, то нормальные распределения F(x) и G(x) отличаются только математическими ожиданиями, а поэтому обе гипотезы H0  и H'0  сводятся к гипотезе
H"0 : m1=m2, ,
а обе альтернативные гипотезы H1 и H'1 сводятся к гипотезе
H"1 : m1m2, .
Если условия а) и б) выполнены, то статистика t при справедливости H"0 имеет распределение Стьюдента с (т + п - 2) степенями свободы. Только в этом случае описанный выше традиционный метод обоснован безупречно. Если хотя бы одно из условий а) и б) не выполнено, то нет оснований считать, что статистика t имеет распределение Стьюдента, поэтому применение традиционного метода, строго говоря, не обосновано. Обсудим возможность проверки этих условий и последствия их нарушений.
	Априори нет оснований предполагать нормальность распределения результатов технических и технико-экономических наблюдений. Следовательно, нормальность надо проверять. Разработано много статистических критериев для проверки нормальности распределения результатов наблюдений [13]. Однако проверка нормальности - более сложная и трудоемкая статистическая процедура, чем проверка однородности (как с помощью статистики t Стьюдента, так и с использованием непараметрических критериев, рассматриваемых ниже).
Для достаточно надежного установления нормальности требуется весьма большое число наблюдений. Так, чтобы гарантировать, что функция распределения результатов наблюдений отличается от некоторой нормальной не более чем на 0,01 (при любом значении аргумента), требуется порядка 2500 наблюдений. В большинстве технических и технико-экономических исследований число наблюдений существенно меньше.
Есть и одна общая причина отклонений от нормальности: любой результат наблюдения записывается конечным (обычно 2-5) количеством цифр, а с математической точки зрения вероятность такого события равна 0.
Из сказанного выше следует, что распределение результатов технических и технико-экономических наблюдений практически всегда более или менее отличается от нормального. Более подробно это утверждение обосновано в работе [37].
Обсудим последствия нарушения условия нормальности. Если условие а) не выполнено, то распределение статистики t не является распределением Стьюдента. Однако при справедливости H'0  и условии б) распределение t при росте объемов выборок приближается к стандартному нормальному распределению Ф(х)=N(x; 0, 1). К этому же распределению приближается распределение Стьюдента при возрастании числа степеней свободы. Другими словами, несмотря на нарушение условия нормальности традиционный метод (критерий Стьюдента) можно использовать для проверки гипотезы H'0 при больших объемах выборок. При этом вместо таблиц распределения Стьюдента достаточно пользоваться таблицами стандартного нормального распределения Ф(х).
Сформулированное в предыдущем абзаце утверждение справедливо для любых функций распределения F(x) и G(x) таких, что E(X)=E(Y), D(X)=D(Y) и выполнены некоторые внутриматематические условия, обычно считающиеся справедливыми в реальных задачах [44, 45]. Если же E(X)E(Y), то при больших объемах выборок
P(t<x)Ф(x-amn),             (2)
где
.               (3)
Формулы (2) - (3) позволяют приближенно вычислять мощность t-критерия (точность возрастает при увеличении т и п).
Рассмотрим проверку условия равенства дисперсий. Иногда условие б) вытекает из методики получения результатов наблюдений, например, когда с помощью одного и того же прибора m раз измеряют характеристику первого объекта и п раз-второго, а параметры распределения погрешностей измерения при этом не меняются. Однако ясно, что в постановках большинства исследовательских и практических задач  нет основании априори  предполагать равенство дисперсий.
Целесообразно ли проверять равенство дисперсий статистическими методами, например, как это иногда предлагают, с помощью F-критерия Фишера? Этот критерий основан на нормальности распределений результатов наблюдений, от которой неизбежны отклонения (см. выше), причем в отличие от t-критерия его распределение сильно меняется при малых отклонениях от нормальности [44, 46]. Кроме того, F-критерий отвергает гипотезу D(X)=D(Y) лишь при большом различии выборочных дисперсий. Так, для данных [13] о двух группах результатов химических анализов отношение выборочных дисперсий равно 1,95, т.е. существенно отличается от 1. Тем не менее гипотеза о равенстве теоретических дисперсий принимается на 1% уровне значимости. Следовательно, при проверке однородности применение F-критерия для предварительной проверки равенства дисперсий нецелесообразно.
Итак, в большинстве экономических, управленческих, технических и технико-экономических  задач условие б) нельзя считать выполненным, а проверять его нецелесообразно.
Каковы последствия нарушения условия равенства дисперсий? Если объемы выборок т и п велики, то распределение статистики t описывается с помощью только математических ожиданий Е(Х) и E(Y), дисперсий D(X), D(Y) и отношения объемов выборок:
P(t<x)Ф(bmnx-amn),             (4)
где amn определено формулой (3),
.                  (5)
Если bmn1, то распределение статистики t отличается от распределения, заданного формулой (2), полученной в предположении равенства дисперсий. Когда bmn=1? В двух случаях - при m = n и при D(X) = D(Y). Таким образом, при больших и равных объемах выборок требовать выполнения условия б) нет необходимости. Если объемы выборок мало различаются, то bmn близко к 1. 
Так, для данных [13] имеем b*mn= 0,987, где b*mn - оценка bmn, полученная заменой в формуле (5) теоретических дисперсий на выборочные.  
Итак, какова область применимости традиционного метода проверки однородности с помощью критерия Стьюдента? Подведем итоги рассмотрения t-критерия. Он позволяет проверять гипотезу H'0 о равенстве математических ожиданий, но не гипотезу H0 о том, что обе выборки взяты из одной и той же генеральной совокупности. Классические условия применимости критерия Стьюдента в подавляющем большинстве технических и технико-экономических задач не выполнены. Тем не менее при больших и примерно равных объемах выборок его можно применять. При конечных объемах выборок традиционный метод носит неустранимо приближенный характер.

3.3. Критерий Крамера-Уэлча равенства математических ожиданий

 Вместо критерия Стьюдента предлагаем для проверки H'0  использовать критерий Крамера-Уэлча [47], основанный на статистике
.                  (6)
Критерий Крамера-Уэлча имеет прозрачный смысл – разность выборочных средних арифметических для двух выборок делится на естественную оценку среднего квадратического отклонения этой разности. Естественность указанной оценки состоит в том, что неизвестные статистику дисперсии заменены их выборочными оценками. Из многомерной центральной предельной теоремы и из теорем о наследовании сходимости [14] вытекает,  что при росте объемов выборок  распределение статистики Т  сходится к стандартному нормальному распределению с математическим ожиданием 0 и дисперсией 1. Итак, при справедливости H'0 и больших объемах выборок распределение статистики Т приближается с помощью стандартного нормального распределения Ф(х), из таблиц которого предлагаем брать критические значения.
При т=п, как следует из формул (1) и (6), t=T. При тп этого равенства нет. В частности, при sx2 в (1) стоит множитель (m-1), а в (6)- множитель п.
Если E(X)E(Y), то при больших объемах выборок
P(T<X)Ф(x-cmn),           (7)
где
.               (8)
При т=п или D(X)=D(Y), согласно формулам (3) и (8), amn=cmn , в остальных случаях равенства нет.
Из сказанного выше следует, что применение критерия Крамера-Уэлча не менее обосновано, чем применение критерия Стьюдента. Дополнительное преимущество - не требуется равенства дисперсий D(X)=D(Y). Распределение статистики Т не является распределением Стьюдента, однако и распределение статистики t, как показано выше, не является таковым в реальных ситуациях.
Распределение статистики Т при объемах выборок т=п=6, 8, 10, 12 и различных функциях распределений выборок F(x) и G(x) изучено нами совместно с Ю.Э.Камнем и Я.Э.Камнем методом статистических испытаний (Монте-Карло). Рассмотрены различные варианты функций распределения F(x) и G(x). Результаты показывают, что даже при таких небольших объемах выборок точность аппроксимации предельным стандартным нормальным распределением вполне удовлетворительна. Поэтому представляется целесообразным во всех тех случаях, когда в настоящее время используется критерий Стьюдента, заменить его на критерий Крамера-Уэлча. Конечно, такая замена потребует переделки ряда нормативно-технических и методических документов, исправления учебников и учебных пособий для вузов.
В большинстве экономических, управленческих, технических и технико-экономических задач представляет интерес не проверка равенства математических ожиданий, а обнаружение различия генеральных совокупностей, из которых извлечены выборки, т.е. проверка гипотезы H0. Методы проверки гипотезы H0 позволяют обнаружить не только изменение математического ожидания, но и любые иные изменения функции распределения результатов наблюдений при переходе от одной выборки к другой (увеличение разброса, появление асимметрии и т. д.). Как установлено выше, методы, основанные на использовании статистик t Стьюдента  и Т Крамера-Уэлча, не позволяют проверять гипотезу H0 . Априорное предположение о принадлежности функций распределения F(x) и G(x) к какому-либо определенному параметрическому семейству (например, семействам нормальных, логарифмически нормальных, распределений Вейбулла-Гнеденко, гамма-распределений и др.) обычно нельзя достаточно надежно обосновать. Поэтому для проверки H0 следует использовать методы, пригодные при любом виде F(x) и G(x), т.е. непараметрические методы. (Термин «непараметрический метод» означает, что при использовании этого метода нет необходимости предполагать, что функции распределения результатов наблюдений принадлежат какому-либо определенному параметрическому семейству.)

3.4. Непараметрические методы проверки однородности

Для проверки гипотезы H0  разработано много непараметрических методов - критерии Смирнова, типа омега-квадрат (Лемана - Розенблатта), Вилкоксона (Манна-Уитни), Ван-дер-Вардена, Сэвиджа, хи-квадрат и др. [13, 43, 48]. Распределения статистик всех этих критериев при справедливости H0 не зависят от конкретного вида совпадающих функций распределения F(x)G(x). Следовательно, таблицами точных и предельных (при больших объемах выборок) распределений статистик этих критериев и их процентных точек [13, 48] можно пользоваться при любых непрерывных функциях распределения результатов наблюдений.
Каким из непараметрических критериев пользоваться? Как известно [46], для выбора одного из нескольких критериев необходимо сравнить их мощности, определяемые видом альтернативных гипотез. Сравнению мощностей критериев посвящена обширная литература [49].
Хорошо изучены свойства критериев при альтернативной гипотезе сдвига
H1c : G(x)=F(x-d), d0.
Критерии Вилкоксона, Ван-дер-Вардена и ряд других ориентированы для применения именно в этой ситуации. Если m раз измеряют характеристику одного объекта и п раз - другого, а функция распределения погрешностей измерения произвольна, но не меняется при переходе от объекта к объекту (это более жесткое требование, чем условие равенства дисперсий), то рассмотрение гипотезы H1c оправдано. Однако в большинстве технических и технико-экономических исследований, в частности при анализе данных об измерениях концентрация SiO2 в мартеновском шлаке весовым или фотоколориметрическим  методами, нет оснований считать, что функции распределения, соответствующие выборкам, различаются только сдвигом.
В соответствии с теорией математической статистики естественно потребовать, чтобы рекомендуемый для массового использования в технических и технико-экономических исследованиях критерий однородности был состоятельным [46]. Это значит, что для любых отличных друг от друга функций распределения F(x) и G(x) (другими словами, при справедливости H1) вероятность отклонения гипотезы H0 должна стремиться стремилась к 1 при увеличении объемов выборок т и п. Из перечисленных выше критериев состоятельными являются только критерии Смирнова и омега-квадрат. В частности, критерий Вилкоксона не позволяет отвергнуть гипотезу H0 для таких функций распределения F(x) и G(x), что
.                (9)
Если F(x) и G(x) не совпадают, но удовлетворяют соотношению (9), то при больших т и п гипотеза H0 принимается столь же часто, как и в случае совпадающих F(x)G(x). Подробнее это свойство критерия Вилкоксона разобрано в монографии [37].
Проведенное нами совместно с Ю.Э.Камнем и Я.Э.Камнем исследование мощности (методом статистических испытаний) первых четырех из перечисленных выше критериев (при различных вариантах функций распределения F(x) и G(x)) подтвердило преимущество критериев Смирнова и омега-квадрат и при объемах выборок 6-12.
Критерий Смирнова однородности двух выборок предложен членом-корреспондентом АН СССР Н.В.Смирновым в 1939 г. [13]. Единственное ограничение - функции распределения F(x) и G(x) должны быть непрерывными. Напомним, что согласно Л.Н.Большеву и Н.В.Смирнову [13] значение эмпирической функции распределения в точке х равно доле результатов наблюдений в выборке, меньших х. Критерий Смирнова основан на использовании эмпирических функций распределения Fm(x) и Gn(x), построенных по первой и второй выборкам соответственно. Значение статистики Смирнова

сравнивают с соответствующим критическим значением [13] и по результатам сравнения принимают или отклоняют гипотезу Н0. Практически значение статистики Dm,п рекомендуется [13] вычислять по формулам
,
,
,
где x'1<x'2<…x'm  - элементы первой выборки x1,x2,…,xm , переставленные в порядке возрастания, а y'1<y'2<…y'n  - элементы второй выборки y1,y2,…,yn , также переставленные в порядке возрастания.
Разработаны алгоритмы и программы для ЭВМ, позволяющие рассчитывать точные распределения, процентные точки и достигаемый уровень значимости [43] для статистики Смирнова, разработаны подробные таблицы [50].
	Однако у критерия Смирнова есть и недостатки. Его распределение сосредоточено в сравнительно небольшом числе точек, поэтому функция распределения растет большими скачками. В результате не удается выдержать заданный уровень значимости, реальный уровень значимости может в несколько раз отличаться от номинального [51].
	Перспективным для практического использования является критерий типа омега-квадрат (Лемана-Розенблатта). Статистика критерия типа омега-квадрат для проверки однородности двух независимых выборок имеет вид:
A  = Fm(x) – Gn(x))2 dHm+n(x) ,
где Hm+n(x) – эмпирическая функция распределения, построенная по объединенной выборке,
Hm+n(x) = Fm(x) +   Gn(x) .
Статистика A  типа омега-квадрат была предложена Э.Леманом в 1951 г., изучена М.Розенблаттом в 1952 г. и другими исследователями [13,52]. Она зависит лишь от рангов элементов двух выборок в объединенной выборке:
A  =  [ m (ri – i)2 + n (sj  -  j)2 ] - ,
где ri  - ранг x'i  и sj  - ранг y'j  в общем вариационном ряду, построенном по объединенной выборке [13].  
	Дадим рекомендации по выбору критерия однородности. Для критерия типа омега-квадрат нет выраженного эффекта различия между номинальными и реальными уровнями значимости. Поэтому мы рекомендуем для проверки однородности функций распределения (гипотеза H0) применять статистику А типа омега-квадрат. Если методическое, табличное или программное обеспечение для статистики Лемана-Розенблатта отсутствует, рекомендуем использовать критерий Смирнова. Для проверки однородности математических ожиданий (гипотеза H'0) целесообразно применять критерий Крамера-Уэлча. По нашему мнению, статистики Стьюдента, Вилкоксона и др. допустимо использовать лишь в отдельных частных случаях, рассмотренных выше. Это утверждение, разумеется, противоречит сложившейся практике, в том числе практике обучения.
Обсудим некоторые вопросы внедрения современных методов прикладной статистики в практику экономических, управленческих, технических и технико-экономических исследований. Даже из проведенного выше разбора лишь одной из типичных статистических задач - задачи проверки однородности двух выборок - можно сделать вывод о целесообразности организации работ по критическому анализу сложившейся в технических и технико-экономических исследованиях практики статистической обработки данных и по внедрению накопленного арсенала современных методов прикладной статистики [41]. По нашему мнению, широкого внедрения заслуживают, в частности, методы многомерного статистического анализа, планирования эксперимента, статистики объектов нечисловой природы. Очевидно, рассматриваемые работы должны быть плановыми, организационно оформленными, проводиться мощными самостоятельными организациями и подразделениями. Целесообразно создание службы статистических консультаций в системе научно-исследовательских учреждений и вузов технического и технико-экономического профиля, идею которой в свое время пропагандировал В.В.Налимов [53].

4. ЭКОНОМЕТРИКА НА ПРОМЫШЛЕННОМ ПРЕДПРИЯТИИ

Как обычно пишут авторы учебников по экономической теории, «статистический анализ экономических данных называется эконометрикой» [54, с.25]. Во многих странах эконометрические методы широко применяются для решения различных задач, возникающих на промышленных предприятиях. В соответствии с приведенным определением эконометрические методы часто называют статистическими. В нашей стране возможности эффективного применения эконометрики на промышленном предприятии еще недостаточно известны. Естественно начать с классификации эконометрических методов.

	4.1. Классификация эконометрических методов, используемых на промышленном предприятии 
 
Рассмотрим два основания для классификации. Первый - по виду эконометрических методов. Второй - по этапам жизненного цикла продукции, на которых соответствующий  метод применяется. Первое основание привычно для специалистов по разработке эконометрических методов и соответствующего программного обеспечения, второе - для тех, кто эти методы применяет на конкретных предприятиях.
В эконометрике [37] сложилось пятичленное деление методов по первому основанию. Приведем его, указав в скобках наименования соответствующих программных продуктов (диалоговых систем),  рассмотренных, в частности, в работах [35, 38].
а) Прикладная  статистика - иногда с дальнейшим выделением статистики случайных величин, многомерного статистического анализа, статистики случайных процессов и временных рядов, статистики объектов нечисловой природы (Система Регрессионного Статистического Моделирования СРСМ,  или СТАТМАСТЕР; АДДА, ГРАНТ, КЛАМС, ЭКОНОМЕТРИК, РЕГРЕССИЯ, ЛИСАТИС, ЭКОСТАТ, РЕСТ).
б) Статистический приемочный контроль (СПК,  АТСТАТ-ПРП, КОМПЛАН). 
в) Статистическое регулирование технологических процессов, в частности, методом контрольных карт Шухарта и кумулятивных сумм (СТАТКОН, АВРОРА-РС).
г) Планирование эксперимента, прежде всего экстремальное планирование (ПЛАН, ЭКСПЛАН, ПАСЭК, ПЛАНЭКС).
д) Оценка и контроль надежности технических устройств, планирование испытаний и анализ их результатов (НАДИС, ОРИОН, СЕНС).
Для рассмотрения жизненного цикла продукции воспользуемся подходом, реализованным в серии международных стандартов ИСО 9000, посвященных системам управления качеством (менеджменту качества). Согласно п.5.1 "Петля качества" стандарта ИСО 9004 система менеджмента качества функционирует «... одновременно со всеми остальными видами деятельности, влияющими на качество продукции или услуг, и взаимодействует с ними. Ее воздействие распространяется на все этапы от первоначального определения и до конечного удовлетворения требований и потребностей потребителя. Эти этапы и виды деятельности включают:
1) маркетинг, поиски и изучение рынка;
2) проектирование и/или разработку технических требований, разработку продукции;
3) материально-техническое снабжение, выбор поставщиков;
4) подготовку и разработку технологических процессов;
5) производство;
6) контроль, проведение испытаний и обследований;
7) упаковку и хранение;
8) реализацию и распределение продукции;
9) монтаж и эксплуатацию;
10) техническую помощь и техническое обслуживание;
11) утилизацию после использования.»
Для конкретизации возможностей применения эконометрических методов на промышленном предприятии целесообразно рассмотреть применение основных типов статистических методов на перечисленных этапах жизненного пути продукции. Сводка, приведенная в виде табл.4.1, показывает, что эконометрические методы широко применяются на всех этапах жизненного цикла продукции. 
 
Таблица 4.1. 
Применение эконометрических методов на различных этапах жизненного цикла продукции по ИСО 9004 
Номер этапа	а	б	в	Г	д	Специальные модели	
1	+	-	-	+	-	+	
2	+	-	-	+	+	+	
3	+	-	-	-	-	+	
4	+	+	+	+	+	+	
5	+	+	+	+	-	+	
6	+	+	+	+	+	+	
7	+	+	+	+	+	+	
8	+	+	-	-	-	+	
9	+	+	+	+	+	+	
10	+	-	-	-	-	+	
11	+	+	+	+	-	+	

В табл.4.1 знаком «+» отмечено широкое применение соответствующего эконометрического метода на рассматриваемом этапе жизненного цикла продукции. Помимо компьютерных диалоговых систем широкого назначения, на каждом конкретном предприятии и на любом конкретном этапе жизненного цикла продукции могут быть использованы специальные модели, например, на этапе 3 “материально-техническое снабжение” - модели управления запасами (логистики). В таблице показано, что методы прикладной статистики успешно применяются на всех этапах жизненного цикла продукции, а методы статистического приемочного контроля – на этапах 4-9 и 11, и т.д.

	4.2. Эконометрические компьютерные технологии

Среди диалоговых систем по эконометрическому анализу данных [35, 38] выделим программные продукты, ориентированные на восстановление зависимостей. К ним относится, в частности, пакет программ СТАТМАСТЕР, он же СРСМ - Система Регрессионного Статистического Моделирования, и его развитие ЭКОНОМЕТРИК, а также РЕГРЕССИЯ. Анализу нечисловых данных на основе методов статистики объектов нечисловой природы посвящены системы АДДА, КЛАМС, а также ориентированный на экспертное оценивание пакет ГРАНТ, на анализ интервальных данных пакет РЕСТ. Задачам прогнозирования посвящены ЛИСАТИС и его развитие ЭКОСТАТ, а  также относящиеся к временным рядам разделы пакета АВРОРА-РС - Анализ Временных Рядов и Обнаружение РАзладки. Уже этот краткий перечень показывает, что компьютерное обеспечение эконометрики предприятия широко и глубоко разработано. 
Для регулярного решения обширных комплексов эконометрических задач сертификации и управления качеством на конкретном предприятии в ряде случаев целесообразно создать новую диалоговую систему, предназначенную для использования именно на этом предприятии. В частности, для решения задач этапа 4 (подготовка и разработка технологических процессов) используют  созданные  для  конкретного предприятия компьютерные системы, соединяющие в себе банки данных и пакеты эконометрических методов анализа этих данных. Примерами являются "Автоматизированное рабочее место материаловеда (АРМ материаловеда)" и "Автоматизированное рабочее место математика (АРМ математика)", разработанные Институтом высоких статистических технологий и эконометрики для ВНИИ эластомерных материалов и изделий. 
Для объединения типовых пакетов в индивидуальную систему полезно программное средство ИНТЕГРАТОР - универсальный инструмент, предназначенный для создания интегрированных программных систем и обеспечивающий возможность совместного использования различных пакетов прикладных программ на персональных компьютерах IBM PC. Так, с помощью ИНТЕГРАТОРА был разработан «АРМ математика» на основе пакетов СРСМ, ПЛАН, АТСТАТ-ПРП, соответствующей базы данных и ряда программ, ориентированных на специфику ВНИИ эластомерных материалов и изделий.
На всех этапах жизненного цикла продукции, особенно на этапах 3, 8, 10, часто используют специализированные вероятностно-статистические  модели, в том числе модели управления запасами (логистики), массового обслуживания и др. Такие модели и их программное  обеспечение, как правило, разрабатываются для конкретного предприятия и потому хорошо приспособлены к особенностям этого предприятия. 

	4.3. О развитии эконометрических методов сертификации в России
 
Около 150 лет эконометрические методы применяются в России для  проверки соответствия продукции установленным требованиям, т.е. для сертификации. Так, действительный член Петербургской академии наук В.Я. Остроградский в 1846 г. рассматривал задачу статистического контроля партий мешков муки или штук сукна армейскими поставщиками (см., например, рассказ академика АН УССР Б.В. Гнеденко об этом в брошюре [55, с.8-9]).
За прошедшие с тех пор 150 лет в России кое-что было сделано, особенно в области теории: монографии Ю.К. Беляева [56] и Я.П. Лумельского [57] можно смело назвать классическими. Был выпущен и длинный ряд практических руководств, в основном переводных.
С начала 1970-х годов стали разрабатываться государственные стандарты по статистическим методам управления качеством продукции. Однако в них были обнаружены грубые ошибки (описание ошибок приведено в работе [35]), и в 1986-87 гг. 24 из 31 государственного стандарта по статистическим методам были отменены в 1986-87 гг. К сожалению, потеряв силу как нормативные документы, ошибочные стандарты продолжают использоваться как научно-технические издания. 
В 1989 г. был организован Центр статистических методов и информатики (ЦСМИ), в настоящее время – Институт высоких статистических технологий и эконометрики. К середине 1990 г.  ЦСМИ были разработаны 7 диалоговых систем по современным эконометрическим методам управления качеством, а именно, уже упомянутые СПК, АТСТАТ-ПРП, СТАТКОН, АВРОРА-РС, ЭКСПЛАН, ПАСЭК, НАДИС (описания этих систем приведены в работе [38]). 
 Программные продукты, разработанные Центром статистических методов и информатики (Институтом высоких статистических технологий и эконометрики), используются более чем в 100 организациях и предприятиях. Среди пользователей - производственные объединения "Уралмаш", "АвтоВАЗ", "Пластик", ЦНИИ черной металлургии им. Бардина, НИИ стали, ВНИИ эластомерных материалов и изделий, НИИ прикладной химии, ЦНИИ химии и механики, НПО "Орион", НИЦентр по безопасности атомной энергетики, ВНИИ экономических проблем развития науки и техники, ВНИИ нефтепереработки, МИИТ, Казахский политехнический институт, Ульяновский политехнический институт,  Донецкий государственный университет и др.
Параллельно велась работа по объединению эконометриков и статистиков. В апреле 1990 г. прошла Учредительная конференция Всесоюзной организации  по  статистическим  методам  и их применениям.  На Учредительном съезде Всесоюзной статистической ассоциации (ВСА) в октябре 1990 г. эта организация вошла в состав ВСА в качестве  секции  статистических методов. Затем на основе этого коллектива была организована Российская ассоциация по статистическим методам (РАСМ), а затем (в 1996 г.) и Российская академия статистических методов. Этими структурами, объединившими большинство ведущих российских специалистов, коллективными усилиями разработан единый подход к проблемам применения эконометрических методов на промышленных предприятиях. Он основан на использовании современных эконометрических идей, в том числе идей статистики нечисловых данных и статистики интервальных данных.

	4.4. Информационные системы управления предприятием в решении задач контроллинга 

	Информационная система управления предприятием (ИСУП) – это операционная среда, которая способна предоставить менеджерам и специалистам актуальную и достоверную информацию о всех бизнес-процессах предприятия, необходимую для планирования операций, их выполнения, регистрации и анализа. Другими словами, ИСУП - это система, несущая в себе описание полного рыночного цикла – от планирования бизнеса до анализа результатов деятельности предприятия. Какую роль играют ИСУП в решении задач контроллинга? Почему до настоящего времени только несколько российских ИСУП имеют встроенный модуль контроллинга? Ответы на эти 
вопросы важны как для развития отечественной индустрии ИСУП, так и для широкого внедрения контроллинга в практику работы российских организаций и предприятий.  

Таблица 4.2.
 Основные задачи ИСУП
Пользо-ватель 	Решаемые задачи	
Руковод-ство предприятия	 обеспечение достоверной информацией о финансовом состоянии компании на текущий момент и подготовка прогноза на будущее;
-	обеспечение контроля за работой служб предприятия;
-	обеспечение четкой координации работ и ресурсов;
-	предоставление оперативной информации о негативных тенденциях, их причинах и  мерах по исправлению ситуации;
формирование полного представления о себестоимости конечного продукта (услуги) по компонентам затрат	
Финан-сово-бухгалтерские службы
	-	полный контроль за движением средств;
-	реализация необходимой менеджменту учетной политики;
-	оперативное определение дебиторской и кредиторской задолженностей;
-	контроль за выполнением договоров, смет и планов;
-	контроль за финансовой дисциплиной;
-	отслеживание движения товарно-материальных потоков;
-оперативное получение документов финансовой отчетности 	
Управле-ние производством
	контроль за выполнением производственных заказов;
-	контроль за состоянием производственных мощностей;
-	контроль за технологической дисциплиной;
-	ведение документов для сопровождения производственных заказов (заборные карты, маршрутные карты);
- оперативное определение фактической себестоимости  заказов 	
Службы марке-тинга и рекламы
	-	контроль за продвижением новых товаров на рынок;
-	анализ рынка сбыта с целью его расширения;
-	ведение статистики продаж;
-	информационная поддержка политики цен и скидок;
-	использование базы стандартных писем для рассылки;
- контроль за выполнением поставок заказчику в нужные сроки при оптимизации затрат на транспортировку	
Службы сбыта и снабже-ния	-	ведение баз данных товаров, продукции, услуг;
-	планирование сроков поставки и затрат на транспортировку;
-	оптимизация транспортных маршрутов;
- компьютерное ведение контрактов 	
Службы складско=го учета
	-	управление многозвенной структурой складов;
-	оперативный поиск товара (продукции) по складам;
-	оптимальное размещение на складах;
- управление поступлениями с учетом контроля качества; 
- инвентаризация	

Таблица 4.3.
 Основные задачи контроллинга
	Основные решаемые задачи	
Контроллинг в системе управления	Целевая задача стратегического контроллинга – обеспечение продолжительного успешного функционирования организации. Основная задача оперативного контроллинга – обеспечение методической, информационной и инструментальной поддержки менеджеров предприятия	
Финансовый контроллинг	Поддержание рентабельности и обеспечение ликвидности предприятия	
Контроллинг на производстве	Информационное обеспечение процессов производства и управления	
Контроллинг маркетинга	Информационная поддержка эффективного менеджмента по удовлетворению потребностей клиентов	
Контроллинг обеспечения ресурсами	Информационная обеспечение процесса приобретения производственных ресурсов, анализ закупаемых ресурсов, расчет эффективности работы отдела снабжения	
Контроллинг в области логистики	Текущий контроль за экономичностью процессов складирования и транспортировки материальных ресурсов	

	Рассмотрим основные задачи ИСУП. Управление предприятиями в современных условиях требует все большей оперативности. Поэтому использование информационных систем управления предприятием (ИСУП) является одним из важнейших рычагов развития бизнеса.
	Частные задачи, решаемые ИСУП, во многом определяются областью деятельности, структурой и другими особенностями конкретных предприятий. В качестве примеров можно сослаться на опыт создания ИСУП для предприятия – оператора связи [58, с.19-21] и опыт внедрения партнерами фирмы SAP системы R/3 на ряде предприятий СНГ и дальнего зарубежья [59, с.2-6]. При этом примерный перечень задач, которые должна решать ИСУП на различных уровнях управления предприятием и для различных его служб, к настоящему времени можно считать общепризнанным. Он приведен в табл.4.2.
Рассмотрим место ИСУП в системе контроллинга. Информационные системы управления являются компьютерной поддержкой контроллинга, который в свою очередь является основным поставщиком информации для управления предприятия. Цель информационной поддержки контроллинга – обеспечить руководство информацией о текущем состоянии дел предприятия и спрогнозировать последствия изменений внутренней или внешней среды [60, с.44] . Основные задачи контроллинга согласно [61, с.19] представлены в табл.4.3.
	Сравним (в соответствии с табл.4.4) основные задачи, которые решают ИСУП и контроллинг (см. табл.4.2 и табл.4.3).
Таблица 4.4.
 Сравнение задач ИСУП и контроллинга
Задачи ИСУП, решаемые для	Задачи контроллинга, решаемые 	
Руководства предприятия	Контроллингом в системе управления	
Финансово-бухгалтерских служб	Финансовым контроллингом	
Управления производством	Контроллингом на производстве	
Служб маркетинга и рекламы	Контроллингом маркетинга	
Служб сбыта и снабжения	Контроллингом обеспечения ресурсами	
Служб складского учета	Контроллингом в области логистики	

	Из табл.4.4 видно, что задачи ИСУП, решаемые для каждого уровня управления и службы предприятия, соответствуют задачам, решаемым контроллингом в той или иной сфере деятельности предприятия (а именно, контроллингом в системе управления, финансовым контроллингом и т.д.).
Если рассматривать структуру ИСУП, то можно выделить 5 основных модулей, которые присутствуют в каждой информационной системе. Это финансово-экономическое управление, бухгалтерия и кадры, склад, производство, торговля (сбыт). 
	Нами проведен анализ 27 самых известных ИСУП, представленных на российском рынке (по данным Интернета). Можно сделать вывод о том, что только единицы имеют встроенный модуль контроллинга (см. табл. 4.5).
	Обсудим перспективы совместного развития ИСУП и контроллинга. Для того, чтобы заглянуть в будущее, попробуем вернуться в прошлое. 	Развитие методов управления промышленными предприятиями в начале ХХ века связывают прежде всего с именами Г. Форда, Ф.Тейлора, Г. Гантта, А. Файоля и др. Именно А. Файоль разделил действия администрации на ряд функций, к которым отнес прогнозирование и планирование, создание организационных структур, руководство командой, координацию (действий менеджеров) и контроль. [62, гл.2].  
	Модель управления запасами, приводящая к «формуле квадратного корня» для оптимального размера заказа, предложена Ф. Харрисом в 1915 г., но получила  известность после публикации широко известной работы Р. Вильсона в 1934 г., а потому часто называется моделью Вильсона [14, с.224-225].
	Мощный толчок теория управления запасами получила в 1951 г. благодаря работам К. Эрроу (будущего нобелевского лауреата по экономике), Т. Харриса, Дж. Маршака. В 1952 г. были опубликованы работы А. Дворецкого, Дж. Кифера, Дж. Вольфовитца. На русском языке теория управления запасами в целом рассматривается в работах Е. Булинской 1964 г., Дж. Букана, Э. Кенингсберга 1967 г., Ю. Рыжикова 1969 г., А. Орлова 1975 г. и 1979 г. [14, гл.5] и др. 

Таблица 4.5.
Наличие модуля контроллинга в российских ИСУП
Название продукта	Компания	Модуль контроллинга	
ABACUS	Омега	0	
ALFA v 2.3	Информконтакт	0	
AVACCO	AVACCO SOFT	+	
NS 2000	Никос-Софт	0	
RS Balance вер. 2.7	RStyle Softlab	0	
Solegem	Технос-К	0	
Аккорд	Алтант-информ	0	
Алеф	Алеф Консалтинг&Софт	0	
Апрель	ИНИСТЭК	0	
АС+	Борлас	0	
БОСС Корпорация	Айти	+	
БЭСТ-про	Интеллект-сервис	0	
Галактика	Галактика	+	
Гепард	Эйс	0	
Инталев:корпор финансы	Инталев	0	
Лагуна 2000	Аккорд софт	0	
ЛокОФФИС	ЛокИС	0	
М-3	Клиент-серверные- технологии	+	
Модуль Менеджер-контактов	IBS TopS Ланит	0	
Монополия	Формоза-софт	0	
Парус	Парус	0	
ТБ Корпорация	ТБ софт	0	
ТЕКТОН	ТЕКТОН, ИнтелГрупп	0	
ТИС (торгово-информационная система)	ТИС	0	
Флагман	Инфософт	+	
Фигаро-ERP	Бизнес-Консоль	+	
Эталон	Цефей	0	
Примечание. Модуль контроллинга (+ - есть, 0 – нет).

	Необходимо отметить работы по созданию ИСУП киевского института кибернетики АН УССР, созданного Б. Гнеденко в 1950-х годах [14, c.5] (в 1961 г. этот институт возглавил В.М.Глушков). В начале 60-х в США начались работы по автоматизации управления запасами. Конец 60-х связан с работами О.Уайта, который при развитии систем автоматизации промышленных предприятий предлагал рассматривать в комплексе производственные, снабженческие и сбытовые подразделения. В публикациях О.Уайта были сформулированы алгоритмы планирования, сегодня известные как MRP — планирование потребностей в материалах — в конце 60-х годов, и MRP II  — планирование ресурсов производства — в конце 70-х — начале 80-х гг. [63, c.24].
 	Отнюдь не все современные концепции управления возникали в США. Так, метод планирования и управления Just-in-time («точно вовремя») появился на предприятиях японского автомобильного концерна в 50-х годах, а методы OPT— оптимизированная технология производства созданы в Израиле в 70-х годах. Концепция компьютеризированного интегрированного производства CIM возникла в начале 80-х годов и связана с интеграцией гибкого производства и систем управления им. Методы CALS — компьютерная поддержка процесса поставок и логистики возникли в 80-х годах в военном ведомстве США для повышения эффективности управления и планирования в процессе заказа, разработки, организации производства, поставок и эксплуатации военной техники. [64, c.12]. Система ERP – планирование ресурсов корпорации предложена аналитической фирмой Gartner Group не так давно, в начале 90-х, и уже подтвердила свою жизнеспособность. Системы CRM – управление взаимоотношениями с клиентами  стали нужными на высококонкурентном рынке, где в фокусе оказался не продукт, а клиент. Многое было сделано в СССР и в России, прежде всего в Институте проблем управления, Центральном экономико-математическом институте, ВНИИ системных исследований и Вычислительном центре РАН.
В настоящее время постепенно акцент в планировании ресурсов предприятий (на основе ERP-систем) смещается к поддержке и реализации процессов управления цепью поставок (SCM–систем), управления взаимоотношениями с заказчиками (CRM-систем) и электронного бизнеса (e-commerce систем).
Проанализируем тенденции развития российского рынка программного обеспечения для автоматизации процесса управления предприятиями. Можно сделать вывод о его динамичном развитии и усложнении круга задач, требующих автоматизации. Вначале руководители российских предприятий чаще всего ставили простейшие задачи, в частности, задачу автоматизации процесса работы бухгалтерии. С развитием компаний, усложнением бизнес-процессов возникала потребность не только в «посмертном бухгалтерском учете», но и в управлении материально-техническим снабжением (логистическими процессами), работой с дебиторами и кредиторами и многими другими задачами, которыми ставит перед предприятием внутренняя и внешняя среда. Для решения этих задач стали использовать корпоративные информационные системы управления – решения, охватывающие деятельность всего предприятия.
Таким образом, в результате «эволюции» ИСУП превратилась из компьютерной бухгалтерии и автоматизированной системы управления запасами в комплексную систему управления всего предприятия. 
В настоящее время на рынке представлено большое количество типовых ИСУП - от локальных (стоимостью до 50 тыс. долл. США) до крупных интегрированных (стоимостью от 500 тыс. долл. США и выше). Типовые решения этих ИСУП «привязываются» фирмами-поставщиками к условиям конкретных предприятий. 
Отметим, что в настоящее время основная часть ИСУП разрабатывается не на основе типовых решений, а в единичном экземпляре для каждого отдельного предприятия. Это делается соответствующими подразделениями предприятий с целью наиболее полного учета особенностей конкретных предприятий [65, с.28-41].
Классификация типовых систем, имеющихся на российском рынке, представлена в табл.4.6. Она разработана в соответствии с [66, с.27-28] Приведем описание основных типов ИСУП.
	Локальные системы. Как правило, предназначены для автоматизации деятельности по одному - двум направлениям. Зачастую могут быть так называемым "коробочным" продуктом. Стоимость таких решений лежит в пределах от нескольких тысяч до нескольких десятков тысяч долларов США. 
	Финансово-управленческие системы. Такие решения обладают гораздо большими функциональными возможностями по сравнению с локальными. Однако их отличительная черта - это отсутствие модулей, посвященных производственным процессам. И если в первой категории представлены только российские системы, то здесь соотношение российского и западного продуктов примерно равное. Сроки внедрения таких систем могут колебаться в районе года, а стоимость – от 50 тыс. долл. до 200 тыс. долл. США. Системы, обозначенные в табл.6 как «переходные», находятся в стадии перехода в класс средних интегрированных систем.
	Средние интегрированные системы. Эти системы предназначены для управления производственным предприятием и интегрированного планирования производственного процесса. Они  характеризуются наличием специализированных функций. Такие системы наиболее конкурентоспособны на отечественном рынке в своей области специализации с крупными западными системами, при этом их стоимость существенно (на порядок и более) ниже, чем крупных. 
	Крупные интегрированные системы. На сегодняшний день это наиболее функционально развитые и соответственно наиболее сложные и дорогие системы, в которых реализуются стандарты управления MRPII и ERP. Сроки внедрения подобных систем с учетом автоматизации управления производством могут составлять несколько лет, а стоимость лежит в пределах от нескольких сот тысяч до нескольких десятков миллионов долларов. Следует отметить, что данные системы предназначены в первую очередь для повышения эффективности управления крупными предприятиями и корпорациями. Требования бухгалтерского или кадрового учета отходят в этом случае на второй план. 

Таблица 4.6.
Классификация ИСУП
Локальные	Финансово-управленческие	Средние интегриро-ванные	Крупные интегриро-ванные	
«1С»	«Чистые»	«Переходные»	BPCS	Baan	
«Альфа»	Западные	CA-PRMS	JD Edwards	
БЭСТ	ACCPAC	Concord XAL	IFS System IV	Oracle	
«Инотек»	EFAS	Navision	Max	SAP R/3	
«Монополия»	Exact	SCALA	MFG/Pro		
«Флагман»	Hansa		Renaissance		
И еще более 100 систем	Platinum SQL		SyteLine		
	Solomon IV				
	SunSystems				
	Российские			
		«БОСС»			
		«Галактика»			
		«Парус»			
		NS2000			
Конструкторы: «Алеф», «Софтпром», «Тектон», «Эталон», ABACUS, М2 и др.	Специализированные решения: Hyperion, Business, Objects, PowerPlay	
Новые игроки: Axapta, Brain, Mincom, Platinum ERA, Wonderware и др.	
Примечание: системы везде перечислены в алфавитном порядке

	Конструкторы – это коммерческое программное средство, комплекс программных средств или специализированная среда программирования для относительно быстрого (по сравнению с универсальными средствами программирования) создания деловых приложений лежащего в основе конструктора инварианта методологии и технологии функционирования. 
	Специализированные решения – предназначены в основном для  получения корпоративной консолидированной отчетности, планирования, бюджетирования, анализа данных по технологии OLAP (on-line analytical processing - оперативный анализ данных - многомерный оперативный анализ данных для поддержки принятия решений).
	
4.5. Эконометрические методы в ИСУП

	Анализ реальных потребностей предприятий показал, что для создания полноценной системы, которая обеспечивала бы не только учетные функции, но и возможности прогнозирования, анализа сценариев, поддержки принятия управленческих решений, типового набора функций ERP-систем недостаточно. Решение данного класса задач требует применения аналитических систем и методов, прежде всего эконометрических [37, 67], включения этих систем и методов в ИСУП.
Эконометрические методы представляют собой важную часть научного инструментария контроллера, а их компьютерная реализация - важную часть информационной поддержки контроллинга. При практическом применении эконометрических методов в работе контроллера необходимо применять соответствующие программные системы. Могут быть полезны и общие статистические системы типа SPSS, Statgraphics, Statistica, ADDA, и более специализированные Statcon, SPC, NADIS, REST (по статистике интервальных данных), Matrixer и многие другие [67, с.42-53].
Подводя итоги, прежде всего отметим, что ИСУП в решении задач управления предприятием, в том числе задач контроллинга, играют бесспорно важную роль. Но, зная важность и необходимость информационной поддержки контроллинга, остается не вполне непонятным, почему российские разработчики не спешат включать модуль контроллинга в состав ИСУП. Ведь это необходимо для того, что система обеспечивала не только компьютерную поддержку контроллинга, предоставляла менеджерам и специалистам актуальную и достоверную информацию обо всех бизнес-процессах предприятия, необходимую для планирования операций, их выполнения, регистрации и анализа. Но и стала бы системой, несущей в себе информацию о полном рыночном цикле – от планирования бизнеса до анализа результатов деятельности предприятия.
Проведя анализ почти 30 российских ИСУП (см. табл.6), так и не удалось ответить на этот вопрос. 
	Хотя ответ, возможно, кроется в стоимости такого решения, а также в неосознанности менеджментом ряда предприятий актуальности развития и внедрения контроллинга. Поэтому пока спрос на такие ИСУП невелик. Но положительные тенденции все же намечаются. Так следующее поколение системы "М-2" программный комплекс "М-3", разработанный компанией "Клиент-серверные-технологии", позиционируется уже не просто как система управления предприятием, а как продукт, формирующий среду принятия решения. В комплексе "М-3" происходит смещение акцентов: от регистрационной системы к структуре, позволяющей реализовывать прогнозирование на основе профессионального анализа. Основой для этого служит реализация механизма контроллинга, предполагающая создание инструмента для принятия оперативных решений в финансовой, производственной и иных областях деятельности предприятий.
 Кроме того, опыт западных компаний показывает, что постепенно спрос растет на крупные интегрированные системы, которые отличаются глубиной поддержки управления больших многофункциональных групп предприятий (холдингов или финансово-промышленных групп). 
И если говорить о развитии отечественной индустрии ИСУП и широком внедрении контроллинга в практику работы российских организаций и предприятий, то приходится констатировать, что у большинства российских предприятий этап полномасштабной информатизации бизнеса только начинается.

ЗАКЛЮЧЕНИЕ

	Разработана концепция современного состояния и перспектив развития эконометрики. Проведен анализ "точек роста" эконометрики, а также возможностей применения эконометрических методов для оптимизации управления предприятием.
	Разработаны методологические основы и основные принципы создания эконометрического обеспечения для систем контроллинга на предприятиях.
	Разработана системы моделей и адекватных им эконометрических методов проверки однородности конкретных экономических данных. 	Разработана методология применения эконометрических методов при управлении предприятиями. Речь идет прежде всего об управления качеством и сертификации, а также об их использовании при разработке, внедрении и применении информационных систем управления предприятием.
	Преимущества полученных результатов (продукции) по сравнению с результатами аналогичных отечественных или зарубежных НИР:
	a) по новизне - результаты являются принципиально новыми;
	б) по широте применения - на мировом уровне;
	в) в области получения новых знаний - новые знания в области методологии и методов эконометрики.
	Предполагаемое использование результатов и продукции: методические рекомендации по разработке и применению эконометрических методов на предприятии. Использование результатов в учебном процессе: создание новых дисциплин; использование в преподавании существующих дисциплин.
	По результатам работы: выпущены учебные пособия:
	1. Орлов А.И. Эконометрика. - М.: Изд-во "Экзамен", 2002. - 576 с.
	2. Федосеев В.Н., Орлов А.И., Ларионов В.Г., Козьяков А.Ф. Управление промышленной и экологической безопасностью.- М.: 2002. - 220 с.
	Опубликованы статьи:
	1. Горский В.Г., Орлов А.И. Математические методы исследования: //Заводская лаборатория. 2002. Т.68. No.1. С.108-112. 
	2. Орлов А.И. Некоторые нерешенные вопросы в области математических методов исследования//Заводская лаборатория. 2002. Т.68. No.3. С.52-56.
	3. Орлов А.И. Эконометрическая поддержка контроллинга. - Контроллинг. 2002. № 1. С.42-53.
	4. Гуськова Е.А. Орлов А.И. Информационные системы управления предприятием в решении задач контроллинга. Контроллинг, 2003, №2 (в печати).
	5. Орлова Л.А., Орлов А.И. Эконометрические информационные технологии на предприятии. Предприятия России в транзитивной экономике. Материалы международной научно-практической конференции (Ярославль, 29-30 октября 2002 г.). II часть. - Ярославль: Концерн «Подати», 2002.С.28-30.
	6. Жданова Г.А. Эффект лояльности как базисный элемент работы с покупателями. - Предприятия России в транзитивной экономике. Материалы молодежной международной научно-практической конференции (Ярославль, 29-30 октября 2002 г.). Часть I. - Ярославль: Концерн «Подати», 2002.
	7. Гуськова Е.А. Информационная система управления как средство повышения деятельности предприятия. Предприятия России в транзитивной экономике. Материалы молодежной международной научно-практической конференции (Ярославль, 29-30 октября 2002 г.). Часть 2. - Ярославль: Концерн «Подати», 2002. – С.5-7.
Целесообразно развитие научно-исследовательских работ по рассматриваемой тематике, проведение дальнейших фундаментальных и отраслевых прикладных научных исследований по эконометрике.

СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ

1. Орлов А.И. Что дает прикладная статистика народному хозяйству? / Вестник статистики. 1986. № 8. С.52 - 56
2. Комаров Д;М., Орлов А.И. Роль методологических исследований в разработке методоориентированных экспертных систем (на примере оптимизационных и статистических методов) - В сб.: Вопросы применения экспертных систем. - Минск: Центросистем, 1988. С.151-160.
3. Ленин В.И. Развитие капитализма в России. Процесс образования внутреннего рынка для крупной промышленности. - М.: Политиздат, 1986. - XII+610 с.
4. Гнеденко Б.В. Курс теории вероятностей: Учебник. - Изд. 6-е, переработанное и дополненное. - М.: Наука, Гл. ред. физ. - мат. лит., 1988. - 448 с.
5. Бернштейн С.Н. Современное состояние теории вероятностей и ее приложений. - В сб.: Труды Всероссийского съезда математиков в Москве 27 апреля - 4 мая 1927 г. - М.-Л.: ГИЗ, 1928. С.50-63.
6. Орлов А.И. О современных проблемах внедрения прикладной статистики и других статистических методов. / Заводская лаборатория. 1992. Т.58. № 1. С.67-74.
7. Орлов А.И. О перестройке статистической науки и её применений. / Вестник статистики. 1990. № 1. С.65 - 71.
8. Кендалл М., Стьюарт А. Теория распределений. - М.: Наука, 1966. - 566 с.
9. Кендалл М., Стьюарт А. Статистические выводы и связи. - М.: Наука, 1973. - 899 с.
10. Кендалл М., Стьюарт А. Многомерный статистический анализ и временные ряды. - М.: Наука, 1976. - 736 с.
11. Налимов В.В., Мульченко З.М. Наукометрия. Изучение развития науки как информационного процесса. - М.: Наука, 1969. - 192 с.
12. ГОСТ 11.011-83. Прикладная статистика. Правила определения оценок и доверительных границ для параметров гамма-распределения. - М.: Изд-во стандартов. 1984. - 53 с.
13. Большев Л.Н., Смирнов Н.В. Таблицы математической статистики. - М.: Наука, 1965 (1-е изд.), 1968 (2-е изд.), 1983 (3-е изд.).
14. Орлов А.И. Устойчивость в социально-экономических моделях. - М.: Наука,1979. - 296 с.
15. Смоляк С.А., Титаренко Б.П. Устойчивые методы оценивания: Статистическая обработка неоднородных  совокупностей. - М;: Статистика, 1980. - 208 с.
16. Эфрон Б. Нетрадиционные методы многомерного статистического анализа. - М.: Финансы и статистика, 1988. - 263 с.
17. Суппес П., Зинес Дж. Основы теории измерений. - В сб.: Психологические измерения. -М: Мир,1967. С. 9-110.
18. Пфанцагль И. Теория измерений. - М.: Мир, 1976. - 166 с.
19. Заде Л. Понятие лингвистической переменной и его применение к принятию приближенных решений. - М.: Мир, 1976. - 168 с.
20. Дэвид Г. Метод парных сравнений. - М.: Статистика, 1978. - 144 с.
21. Матерон Ж. Случайные множества и интегральная геометрия. - М.: Мир, 1978. - 318 с.
22. Терехина А.Ю. Анализ данных методами многомерного шкалирования. - М.: Наука, 1986. - 168 с.
23. Перекрест В.Т. Нелинейный типологический анализ социально-экономической информации: Математические и вычислительные методы. - Л.: Наука, 1983. - 176 с.
24. Кемени Дж., Снелл Дж. Кибернетическое моделирование: Некоторые приложения. - М.: Советское радио, 1972. - 192 с.
25. Тюрин Ю.Н., Литвак Б.Г., Орлов А.И., Сатаров Г.А., Шмерлинг Д.С. Анализ нечисловой информации. - М.: Научный Совет АН СССР по комплексной проблеме "Кибернетика", 1981. - 80 с.
26. Литвак Б.Г. Экспертная информация: Методы получения и анализа. - М.: Радио и связь, 1982. - 184 с.
27. Орлов А.И. Статистика объектов нечисловой природы и экспертные оценки. - В сб.: Экспертные оценки. Вопросы кибернетики. Вып.58. - М.: Научный Совет АН СССР по комплексной проблеме "Кибернетика", 1979. С.17-33.
28. Анализ нечисловой информации в социологических исследованиях. / Под ред. В.Г. Андреенкова, А.И.Орлова, Ю.Н. Толстовой. - М.: Наука, 1985. - 220 с.
29. Орлов А.И. Асимптотическое поведение статистик интегрального типа. / Доклады АН СССР. 1974. Т.219. № 4. С.808-811.
30. Орлов А.И. Асимптотическое поведение статистик интегрального типа. - В сб.: Вероятностные процессы и их приложения. Межвузовский сборник. - М.: МИЭМ, 1989. С.118-123.
31. Горский В.Г. Современные статистические методы обработки и планирования экспериментов в химической технологии. -  В сб.: Инженерно-химическая наука для передовых технологий. Международная школа повышения квалификации Труды третьей сессии. 26-30 мая 1997, Казань, Россия / Под ред. В.А. Махлина. - М.: Научно-исследовательский физико-химический институт им. Карпова, 1997. С.261-293.
32. Плошко Б.Г., Елисеева И.И. История статистики: Учебное пособие. - М.: Финансы и статистика. 1990. - 295 с.
33. Иванова Н.Ю., Орлов А.И. Экономико-математическое моделирование малого бизнеса (обзор подходов). - Журнал "Экономика и математические методы". 2001. Т.37. №2. С.128-136.
34. Экспертные оценки: современное состояние и перспективы использования в задачах экологического страхования / Горский В.Г., Орлов А.И., Жихарев В.Н., Цупин В.А., Степочкин А.Н., Васюкевич В.А. - - В сб.: Труды Второй Всероссийской конференции "Теория и практика экологического страхования". - М.: Ин-т проблем рынка РАН, 1996, с.20-23.
35. Орлов А.И. Сертификация и статистические методы (обобщающая статья). – Журнал «Заводская лаборатория». 1997. Т.63.  No.3. С. 55-62.
36. Орлов А.И. Высокие статистические технологии и эконометрика в контроллинге - Журнал "Российское предпринимательство", 2001. № 5. С.91-93.
37. Орлов А.И. Эконометрика. Учебное пособие. - М.: Изд-во "Экзамен", 2002. – 576с..
38. Орлов А.И. Внедрение современных статистических методов с помощью персональных компьютеров. – В сб.: Качество и надежность изделий. No.5(21). - М.: Знание, 1992. - С.51-78.
39. Контроллинг в бизнесе. Методологические и практические основы построения контроллинга в организациях / А.М. Карминский, Н.И. Оленев, А.Г. Примак, С.Г. Фалько. - М.: Финансы и статистика, 1998. - 256 с.
40. Орлов А. И. Задачи оптимизации и нечеткие переменные. - М.: Знание, 1980.- 64 с.
41. Орлов А.И. Современная прикладная статистика // Заводская лаборатория. Т.64. 1998. №3. С. 52-60.
42. The teaching of statistics / Studies in mathematics education. Vol.7. - Paris, UNESCO, 1989. - 258 pp.
43. Гаек Я., Шидак 3. Теория ранговых критериев / Пер. с англ. - М.: Наука, 1971. – 376 с.
44. Шеффе Г. Дисперсионный анализ / Пер. с англ. / 2-е изд. - М.: Наука, 1980. - 512 с.
45. Елисеев В.Г. Асимптотическое разложение для распределения статистики критерия проверки гипотезы о равенстве средних. – В сб.: Прикладная статистика. - М.: Наука, 1983. - С. 265-267.
46. Боровков А.А. Математическая статистика. - М.: Наука, 1984. – 472 с.
47. Крамер Г. Математические методы статистики  / Пер. с англ. / 2-е изд. - М.: Мир, 1975. – 648 с.
48. Холлендер М., Вулф Д.А. Методы непараметрической статистики / Пер. с англ. - М.: Финансы и статистика, 1983. – 518 с.
49. Никитин Я.Ю. Асимптотическая эффективность непараметрических критериев. – М.: Наука, 1995. – 238 с. 
50. Методика. Проверка однородности двух выборок параметров продукции при оценке ее технического уровня и качества. – М.: ВНИИСтандартизации, 1987. – 116 с. 
51. Камень Ю.Э., Камень Я.Э., Орлов А.И. Реальные и номинальные уровни значимости в задачах проверки статистических гипотез. - Журнал «Заводская лаборатория». 1986. Т.52. No.12. С.55-57.
52. Орлов А.И. Оценки скорости сходимости к пределу распределений некоторых статистик. - Журнал «Теория вероятностей и ее применения». 1971. Т. XVI. No.3. С. 583-584.
53. Налимов В.В. Теория эксперимента. - М.: Наука, 1971. – 208 с.
54. Долан Э.Дж., Линдсей Д.Е.  Рынок: микроэкономическая модель. - СПб: СП “Автокомп", 1992. - 496 с.
55. Гнеденко Б.В. Математика и контроль качества продукции. - М.: Знание, 1978. - 64 с.
56. Беляев Ю.К. Вероятностные методы выборочного контроля. - М.: Наука, 1975. - 408 с.
57. Лумельский Я.П. Статистические оценки результатов контроля  качества. - М.: Издательство стандартов, 1979. - 200 с.
58. Орлов А.И., Волков Д.Л. Эконометрические методы при управлении ресурсами и информационная поддержка бизнеса для фирмы-оператора связи. - Журнал «Приднiпровський науковий вiсник. Донбаський випуск». Матерiали мiжнародноi науково-технiчноi конференцii "Проблеми i практика управлiння в економiчных системах". Економiка. № 109 (176). Грудень 1998 р. 
59. Виноградов С.Л. Контроллинг как технология менеджмента. Заметки практика // Контроллинг. – 2002. - №2.
60. Карминский А.М., Дементьев А.В., Жевага А.А. Информатизация контроллинга в финансово-промышленной группе // Контроллинг. – 2002. - №2.
61. Карминский А.М., Оленев Н.И., Примак А.Г., Фалько С.Г. Контроллинг в бизнесе. Методологические и практические основы построения контроллинга в организациях. – М.: Финансы и статистика, 1998. – 256 с. 
62. Менеджмент. Учебное пособие / Под ред. Ж.В.Прокофьевой. – М.: Знание, 2000. – 288 с.
63. Уайт О. У. Управление производством и материальными запасами в век ЭВМ. - М.: Прогресс. 1978. – 302 с.
64. Компьютерно-интегрированные производства и CALS технологии в машиностроении. - М.: Федеральный информационно-аналитический центр оборонной промышленности. 1999. – 510 с.
65. Любавин А.А. Особенности современной методологии внедрения контроллинга в России // Контроллинг. – 2002. - № 1.
 66. Карпачев И. Налево пойдешь // Enterprise partner: корпоративные системы. - 2000. - №10.
 67. Орлов А.И. Эконометрическая поддержка контроллинга // Контроллинг. 2002. - №1.